Colaboratory
青空文庫の中から自然言語処理用データを入手する。青空文庫は、定番の題材のようだ。意外と読んだことのない本が多いことに気が付きつつ、青空文庫に感謝しつつ、題材とさせていただきました。注意点は、掲載しているすべてのデータが著作権が切れたもので…
「Colaboratoryを使ってRinnaで遊んでみた」のコード。 以下のサイトを参考にさせていただきました。 note.com ファインチューニング編 rinna_de_asobu/Rinna_fineTuring_G_try.ipynb at main · chottokun/rinna_de_asobu · GitHub ※学習データは別途準備要…
rinna社が公開したGPT言語モデル。なんだか楽しそうなので、ファインチューニングにチャレンジした。お勉強なので、お手軽にできる範囲。モデルをサイズの小さいsmallを選択し、実行環境は参考にしたサイトを見ながらColabで構築。題材は「逆襲のシャア」の…
AIマリオチャレンジ。world 8-1が未だにゴールできない。 このステージは長い。土管入って・・なんてやるとルールを与えないと難しいだろうし・・・。ハイパーパラメータを弄って、大ジャンプまでは頑張ってくれたが、３連土管をクリアする確率が上がらない…
AIマリオチャレンジを継続中。world 8-1がどうしてもクリアできない。 基礎知識がそもそもないので、強化学習の勉強をしてみたり。一般常識を頭に入れつつ遊び続けている。NNは弄ると泥沼に入りそうだったので、ハイパーパラメータと報酬で何とかならぬかと…
機械学習で遊ぼう、という、からあげ先生の楽しいチャレンジ。 karaage.hatenadiary.jp ゼロから作るスキルもないし、強化学習は初めてトライ。報酬とちょっとしたハイパーパラメータの調整程度でとりあえずは楽しめる。 楽しむ手順１ 強化学習時の報酬を調…
Google Colaboratoryは、Notebook形式のPythonが動く環境が提供されていて、お勉強したり、お試ししたり、に便利に使える。環境構築で悩むことが少ない。万事解決するわけでもないが、お手軽であるのには間違いがない。 時間がかかる計算をさせる場合は、 ・…
今時、大抵の入門編はWebで勉強できる。と、いいながら、本屋で見かけると買ってしまうのだ。というわけ、Python文法を特集したInterfaceを購入。紙のメディアの見やすさもあるけれども、休憩時間になんとなく眺めるのにタブレットよりも気分転換にもなる。 …
Colaboratoryで挑戦しつつ、合間のコラムも読みながらプログラムを動かせるpythonとAIの入門本。 AIで「遊ぶ」ための本。もっと、内容薄いのかな・・・とちょっぴり不安を感じていた。ブログの単なるまとめ本だと面白くない。そんなこともなく、しっかり、そ…
日本語解析のときに欠かせないpythonの道具、Janome。たまに、巨大辞書を使いたくなる時がある。そこで、検索しながら調べてみたけれども、ビルドしなおすのが現実的だった。環境のことも考えなくてすむので、colaboratoryで挑戦。 たぶん、出来た気が。 git…
定期ツイートするデータを文章を自動生成させて作る。その前段階のテキスト処理を構築してみる。 日本語の解析には、まず辞書を元に分かち書きと言われる語句の分解をする必要がある。解析ツールの一つである。今回はそのうちのMecabを使うことにした。 apt …
鶴の飛来予想って、幾つかの地域で行っている。観光PRなんだろうけど、色んな所に飛来しているんだなぁ・・・と野鳥への関心も生まれたのか、単に景品に興味があるのか、複雑な気持ちになりつつ、Webを探しているとありました。 muratabi-tour.com そこで見…
facebook の時系列データの予測ライブラリprofitというのがあるのを知った。fasttextも簡単に分類とか解析ができるし、軽い。このprofitも軽いし簡単だった。 こちらをみつつ、ポチポチとColaboratoryでやってみる。columnの名前を日付データをDSと分析対象…
Twitterのトレンドからピックアップした画像を解析してよく使われている色を並べた画像を作成しました。Twitterの今日の色は何色？的な気分です。それを、Twitterのプロフィール画面のヘッダーに python を使って変更するところまでできました。 さて、一定…
Twitterのヘッダー画像を変更に挑戦してみたが、 tweepy ではapi wrapper が準備されてない・・・と思っていました。が、ありました。 def update_profile_banner(self, filename, **kwargs): """ :reference: https://developer.twitter.com/en/docs/accoun…
Twitterのプロフィールのヘッダ部分の画像を python で実施したいな。これくらい tweepy で一発だろ、と思ってたら・・・。軽くハマりました。 API.update_profile_background_image(filename) http://docs.tweepy.org/en/latest/api.html#API.update_profil…
ツイッターって、その時々で見えてくる色があるんじゃないだろうか、と挑戦してみた「ツイッターの色見本」。確かに、なんとなく、色が変わっていくのは楽しい。 とりあえず、colaboratoryを使って、生成した画像をツイートまで自動でできるところまでできた…
トレンド画像から特徴色を見出して、今のツイッターの色なるものの風景を取り出してみた。 bwgift.hatenadiary.jp 表現の仕方は他にもあるのかもと思うので、思いついたらやるとして・・・、次は画像を合成した後に自動で画像を添付してツイートするようにし…
いろんなWebページから手動で語録を集めた。 Googleフォーム便利。 bwgift.hatenadiary.jp さっそく、Colaboratory を使って、MeCabで分かち書きを行った後にマルコフ連鎖による文章の自動生成に挑戦。 客寄せパンダと言われて『ああ、小泉さんに自己負担を…
素材はできました。 文章は多少チューニングしたけれども、集める文章や辞書の質も大事なので、まだまだ地道な作業は必要っぽい。 bwgift.hatenadiary.jp malkov_sentences.txtというファイルに生成文章を保存しているので、それを参照してつぶやくだけ。Twi…
高度なチャットボットは無理だけど・・・ pythonのお勉強としてchatbotを作ってみようと思い立った。いろいろとGoogleって見るといろいろある。ディープラーニングだけでもいろんな手法もあるし、どこから取り付いて良いのかわからない。TensolFlowのSeq2aeq…
ColaboratoryはPythonのお勉強にぴったり。そこでWikipediaのデータを持ってきて見よう見まねで整形処理に挑戦。 だが、しかし。 処理項目毎にメッセージを出すようにしたら、すごい勢いでログが出る。すると、非力な我がX230はCPU使用率が100%に張り付きブ…
