お勉強
AIマリオチャレンジ。world 8-1が未だにゴールできない。 このステージは長い。土管入って・・なんてやるとルールを与えないと難しいだろうし・・・。ハイパーパラメータを弄って、大ジャンプまでは頑張ってくれたが、３連土管をクリアする確率が上がらない…
AIマリオチャレンジを継続中。world 8-1がどうしてもクリアできない。 基礎知識がそもそもないので、強化学習の勉強をしてみたり。一般常識を頭に入れつつ遊び続けている。NNは弄ると泥沼に入りそうだったので、ハイパーパラメータと報酬で何とかならぬかと…
機械学習で遊ぼう、という、からあげ先生の楽しいチャレンジ。 karaage.hatenadiary.jp ゼロから作るスキルもないし、強化学習は初めてトライ。報酬とちょっとしたハイパーパラメータの調整程度でとりあえずは楽しめる。 楽しむ手順１ 強化学習時の報酬を調…
Google Colaboratoryは、Notebook形式のPythonが動く環境が提供されていて、お勉強したり、お試ししたり、に便利に使える。環境構築で悩むことが少ない。万事解決するわけでもないが、お手軽であるのには間違いがない。 時間がかかる計算をさせる場合は、 ・…
データの分析ツールを探していた。分析したものを再利用したり、他人と共有したりしたいからだ。気になるところを追加で可視化したりしつつ、ダッシュボード化しておけば、情報の共有化も簡単だ。 導入が簡単なMetabaseがいいかも・・・と思って挑戦。 www.m…
今時、大抵の入門編はWebで勉強できる。と、いいながら、本屋で見かけると買ってしまうのだ。というわけ、Python文法を特集したInterfaceを購入。紙のメディアの見やすさもあるけれども、休憩時間になんとなく眺めるのにタブレットよりも気分転換にもなる。 …
Colaboratoryで挑戦しつつ、合間のコラムも読みながらプログラムを動かせるpythonとAIの入門本。 AIで「遊ぶ」ための本。もっと、内容薄いのかな・・・とちょっぴり不安を感じていた。ブログの単なるまとめ本だと面白くない。そんなこともなく、しっかり、そ…
日本語解析のときに欠かせないpythonの道具、Janome。たまに、巨大辞書を使いたくなる時がある。そこで、検索しながら調べてみたけれども、ビルドしなおすのが現実的だった。環境のことも考えなくてすむので、colaboratoryで挑戦。 たぶん、出来た気が。 git…
自然言語解析。科研費データから説明文を形態素解析を実施して、俯瞰データをプロット。ドットと密度をカーネル密度マップで描画。なんか、それらしくなった。 ・ついでにそれぞれの年の重心位置もプロット。 ・科研費の番号は適当に間引いて表示。 ・インタ…
自然言語解析。あとはグラフを書く。 そんなに悩むことなく。seabornを使ってカーネル密度マップを書いてみる。 fig = plt.figure(figsize=(10, 10)) sns.kdeplot(x=data[x], y=data[y], fill=True, cmap='CMRmap', thresh=0, levels=100, bw_method=0.1 ) s…
自然言語処理。文書を適当に俯瞰できるといいなと始めてみた。 前処理は見えてきたので、どうやって特徴量を出すのか。調べてみると、Doc2VecやTF-IDFあたりが割と枯れた技術のようなので、どちらかにする。情報が沢山あったほうが勉強しやすい。あまり古い…
自然言語処理。さてと、特許の分類に興味があったけれども、日本の特許庁は不便なんで、手に入るもので挑戦しようと調査中。 今回は、形態素解析。日本語を分解して単語に分ける。単語を単位とすれば処理ができるようになる。よく見かけるのはMeCabやJanome…
自然言語処理。文書が俯瞰できる仕組み作りに挑戦。 類似文書分類が、お手軽にできるのは、VEC2DOCかSklearnでTFIDFを利用。高度なプログラムは出来ないので、枯れたところを活用するのが幸せ。と、思って探していると、Kaggleのサイトにシンプルで綺麗なコ…
自然言語処理を調べている。人工知能搭載ボット・・・となるといきなり壁が高すぎる気がする。そこで、大量の文章をざっと眺める方法から取り掛かる。 特許で何やら、地図っぽい絵を描かせてどこが特許のポイントかを図示する方法があるらしい。パテント・ラ…
あら、懐かしい・・・ではない。新刊だ。懐かしすぎるゲームセンターあらしがPythonのプログラムに挑戦するという、流れでPythonの極々入門部分を紹介する。 これが内容的にもいい。エラーが出ても慌てず、解決できるし、それを乗り越えて、うまく動いた時の…
windowsのsandboxで動くようになったFolding@home。自分のユーザー名、チーム名でさくっと動かしたい。ということで、パスキーを設定ファイルに追加して引数で指定。 Powershell.exe -ExecutionPolicy Bypass -File .\install_folding_sandbox_on_host.ps1 -…
欲しい技術入門書がアマゾンのオンデマンドで販売されている。紙になると高くなるので一瞬なやんだりしている。 でも、これってビジネスチャンスなんじゃないかな・・・。製本が出来る拠点があって紙質や印刷の質で数ランク価格をつければいい。さらに紙を買…
定期ツイートするデータを文章を自動生成させて作る。その前段階のテキスト処理を構築してみる。 日本語の解析には、まず辞書を元に分かち書きと言われる語句の分解をする必要がある。解析ツールの一つである。今回はそのうちのMecabを使うことにした。 apt …
定期的にツイートする仕組みをGithubで公開するお勉強。もちろん、code自体は色んなサイトを見たりしながら短いながらも作ってみた。設定ファイル形式にして、KEYといったセンシティブ情報を分離。 苦労したのは、gitで同期する際に設定ファイル自体も公開し…
さらに奮闘中です。やっぱり我らがラズパイで録音できると嬉しい。 bwgift.hatenadiary.jp 前回試行錯誤した結果、環境依存部分をお勉強した感じになった。とりあえず、最低限の動作は出来るようになったので、そちらはそちらで動かしつつ、実験君がしやすい…
鶴の飛来予想って、幾つかの地域で行っている。観光PRなんだろうけど、色んな所に飛来しているんだなぁ・・・と野鳥への関心も生まれたのか、単に景品に興味があるのか、複雑な気持ちになりつつ、Webを探しているとありました。 muratabi-tour.com そこで見…
facebook の時系列データの予測ライブラリprofitというのがあるのを知った。fasttextも簡単に分類とか解析ができるし、軽い。このprofitも軽いし簡単だった。 こちらをみつつ、ポチポチとColaboratoryでやってみる。columnの名前を日付データをDSと分析対象…
トレンド画像から特徴色を見出して、今のツイッターの色なるものの風景を取り出してみた。 bwgift.hatenadiary.jp 表現の仕方は他にもあるのかもと思うので、思いついたらやるとして・・・、次は画像を合成した後に自動で画像を添付してツイートするようにし…
鶴の飛来地である出水市では飛来する羽数当てクイズを行っている。 www.izumi-navi.jp クイズなので適当に数字を入れれば応募できるのだが、せっかくなので、お勉強の題材にした。 まずは、過去の数字を集めましょう。 www.city.kagoshima-izumi.lg.jp で、P…
基本的にはパソコンを使っての作業が多いが、それよりも重要なのはノートやメモ。何気なく買ってみてよかったのが、ロジカルエアーノート。 紙は確かに軽いが、意外としっかりしている。書き込むとちょっと膨らんでくるが、軽いからページ数があっても気にな…
素材はできました。 文章は多少チューニングしたけれども、集める文章や辞書の質も大事なので、まだまだ地道な作業は必要っぽい。 bwgift.hatenadiary.jp malkov_sentences.txtというファイルに生成文章を保存しているので、それを参照してつぶやくだけ。Twi…
相当昔に購入したダウンロード版の英辞郎。 実はまだ現役だ。ネットに繋がってなくとも、サクサクと辞書が引けるので英語の文献なんか読むときは便利なのだ。厳密にというより大体の意味がわかればいいものだし、そもそも専門用語は分かっているからだ。 そ…
pythonのお勉強とおもって「文章自動生成」にチャレンジ中。これまで分かち書きした文章の教師用データを作ってお試しでの文章自動生成に成功しました。今回は「猫」という言葉が入っている応答形式のツイートを一週間かけて集めたデータを使います。 幾つか…
分かち書きにした文章が用意出来たら、あとは簡単。といっても、すでにライブラリーがあるからなんですが・・・。 github.com とりあえず、以下のサイトを見ながら学習＆文章を生成してみます。 qiita.com すでに、分かち書きは出来ているので簡単。 import …
高度なチャットボットは無理だけど・・・ pythonのお勉強としてchatbotを作ってみようと思い立った。いろいろとGoogleって見るといろいろある。ディープラーニングだけでもいろんな手法もあるし、どこから取り付いて良いのかわからない。TensolFlowのSeq2aeq…
