何やらさらに進化しているらしいということで・・・StableDiffusionで画像生成をチェックしてみました。使ったcolabのコードです。 github.com waifu-diffusion/wd-1-5-beta2 · Hugging Face Defpoint/Defmix-v2.0 · Hugging Face 用途に応じでアイデア次第…

フリーのニューラル機械翻訳モデル（日本語・英語）FuguMTをお試ししてみた。 staka.jp といっても簡単。ほぼモデルを呼び出すだけ。 github.com これくらいのベースが出来ているのであれば、分野や文書ごとに追加で学習させて使うやりかたが気軽にできそう…

ラズパイにPoetryを導入して無事に動いたものの、別のラズパイにも入れたが、いざ環境構築しようとすると・・・ Failed to create the collection: Prompt dismissed.. と、いうエラー。 調べると・・ Keyring errors during non-publishing operations · Is…

ラズパイでpythonのプログラムをするときにはpipenvで仮想環境を作って勉強していた。が、エラーが頻発する。cryptographyのインストールで失敗するのだ。どうも、rustでコンパイルしようしているようだ。 なので、rustをインストールする。 www.rust-lang.o…

簡単に自然言語処理にトライできるspaCy。産業的な製品向けのための自然言語処理らしい。だが、初心者がこだわらずに挑戦するのにも向いていると思う。 spacy.io しかも、spaCy3ではtransformersのモデルも使える様になったので、ちょっくら使ってみようとし…

動かしっぱなしにしているtwitterからデータを収集するコード。サーバーのメンテナンスついでに、ライブラリーも最新に・・・と考えたのが間違いだったのか。それなりに時間が経っているので、モジュールの仕様も変わっているわけで・・・。 emoji emoji.UNI…

Pandasを使っていて、applyは便利。 引数が複数ある関数を使う場合の一例のメモ。 import pandas as pd df = pd.DataFrame({'A': ['A1', 'A2', 'A3'], 'B': ['B1', 'B2', 'B3'], 'C': ['C1', 'C2', 'C3']}) def func(x,y,z): return x+y+z df.apply(lambda x…

Stable Diffusionを使って画像生成。プロンプトの呪文は難しい。でも、なんか、呪文ばかりを考えて粘るのも嫌だなと思う。それにも負けず、トライしてみた。とりあえず、まとめて生成させて、使えそうなキーワードを見つけつつ、１０回ずつ試行。 たまに良い…

DiscoDiffusion v5.6で動画生成トライ。 #DiscoDiffusion 先週は画像生成動画。今週は次にチャレンジしようと思ったら、状況が変わっていた。 pic.twitter.com/8CieyjR3AB — BW/GIFT (更新通知・実験BOT・中の人) (@bwgift20th) August 27, 2022 簡単に夢に…

引き続きDisco Diffusion v5.6で画像生成。プロンプトって結構難しい。色んな情報が飛び交うのも分かる気が・・・。試行錯誤してみたら、基本的な要領がわずかにつかめた（かもしれない（笑）） サイバーパンク風街並み。 遠景。雲の下に雪の街並み。 プロン…

Disco-Diffusionを使っての静止画生成にチャレンジ中。Midjouneyだとお手軽だと思いつつ、お勉強している雰囲気も欲しいのでDDで遊んでみている。 定番のブレードランナー的SF風の絵。都市部の雨模様の風景。やってみると、テキストの選択が難しい。教師デー…

「Midjourney」、「DALL·E」といったテキストからの画像生成が話題です。好みの画像を生成するキーワードとかテクニックの記事も出てきて楽しい今日この頃。 キーワードテクニックは、モデルが変われば変わってくる。だが、こうした色んな人の試行錯誤が集ま…

Stage 8-1をようやくクリア！ 最後はハイパーパラメータを調整してなんとか達成。継続学習でエラーが出て、解決に手間取っていたところ、先にクリアした方のNotebookを参考に解決。その後、初めから学習をやり直したところ、ゴール。 競争ではないけれども、…

GPT2を使って、文章の生成にチャレンジをしています。 bwgift.hatenadiary.jp なんか、いまいちだった。そこで、試行錯誤して、rinnaのmiddleサイズの学習データをベースに、吉川英治の三国志を学習してみた。 github.com その結果できた文章。読める文章が…

引き続き遊んでみた。 bwgift.hatenadiary.jp りんなのsmallモデルからmediumモデルを使ってファインチューニング。プロンプトテキストは生成テキストを加えて行き、行数が増えてきたら、直近の適当な行数をベースとした。（この例だと、最初に20行まで生成…

青空文庫からデータをダウンロードして加工できた。さっそく、コナンドイル作品から「」内の会話文を抽出して学習用データをしました。具体的な手法は、過去記事参照。 bwgift.hatenadiary.jp 使ったりんなモデルはスモールモデル。例によってColabを使いま…

以前、青空文庫から自然言語処理用データをGoogle Colabでダウンロードして整形するようにしたが、挿絵がzipに同梱してあるとエラーになるのに（いまさら）気が付いた。bugfixして、ついでに、セリフだけを取り出すことにした。 これで、〇〇風にrinnaをfine…

青空文庫の中から自然言語処理用データを入手する。青空文庫は、定番の題材のようだ。意外と読んだことのない本が多いことに気が付きつつ、青空文庫に感謝しつつ、題材とさせていただきました。注意点は、掲載しているすべてのデータが著作権が切れたもので…

「Colaboratoryを使ってRinnaで遊んでみた」のコード。 以下のサイトを参考にさせていただきました。 note.com ファインチューニング編 rinna_de_asobu/Rinna_fineTuring_G_try.ipynb at main · chottokun/rinna_de_asobu · GitHub ※学習データは別途準備要…

rinna社が公開したGPT言語モデル。なんだか楽しそうなので、ファインチューニングにチャレンジした。お勉強なので、お手軽にできる範囲。モデルをサイズの小さいsmallを選択し、実行環境は参考にしたサイトを見ながらColabで構築。題材は「逆襲のシャア」の…

Windows11のマシンにwslの環境構築したのでメモ。 Microsoft公式が丁寧に記載されてるのでとても便利。エラーが出た場合も場合分けして書いてるので、ほぼこの通りで問題なかった。 docs.microsoft.com 実験環境としての位置づけなので、やり直しは重要。ubu…

AIマリオチャレンジ。world 8-1が未だにゴールできない。 このステージは長い。土管入って・・なんてやるとルールを与えないと難しいだろうし・・・。ハイパーパラメータを弄って、大ジャンプまでは頑張ってくれたが、３連土管をクリアする確率が上がらない…

AIマリオチャレンジを継続中。world 8-1がどうしてもクリアできない。 基礎知識がそもそもないので、強化学習の勉強をしてみたり。一般常識を頭に入れつつ遊び続けている。NNは弄ると泥沼に入りそうだったので、ハイパーパラメータと報酬で何とかならぬかと…

機械学習で遊ぼう、という、からあげ先生の楽しいチャレンジ。 karaage.hatenadiary.jp ゼロから作るスキルもないし、強化学習は初めてトライ。報酬とちょっとしたハイパーパラメータの調整程度でとりあえずは楽しめる。 楽しむ手順１ 強化学習時の報酬を調…

Google Colaboratoryは、Notebook形式のPythonが動く環境が提供されていて、お勉強したり、お試ししたり、に便利に使える。環境構築で悩むことが少ない。万事解決するわけでもないが、お手軽であるのには間違いがない。 時間がかかる計算をさせる場合は、 ・…

今時、大抵の入門編はWebで勉強できる。と、いいながら、本屋で見かけると買ってしまうのだ。というわけ、Python文法を特集したInterfaceを購入。紙のメディアの見やすさもあるけれども、休憩時間になんとなく眺めるのにタブレットよりも気分転換にもなる。 …

Colaboratoryで挑戦しつつ、合間のコラムも読みながらプログラムを動かせるpythonとAIの入門本。 AIで「遊ぶ」ための本。もっと、内容薄いのかな・・・とちょっぴり不安を感じていた。ブログの単なるまとめ本だと面白くない。そんなこともなく、しっかり、そ…

日本語解析のときに欠かせないpythonの道具、Janome。たまに、巨大辞書を使いたくなる時がある。そこで、検索しながら調べてみたけれども、ビルドしなおすのが現実的だった。環境のことも考えなくてすむので、colaboratoryで挑戦。 たぶん、出来た気が。 git…

自然言語解析。科研費データから説明文を形態素解析を実施して、俯瞰データをプロット。ドットと密度をカーネル密度マップで描画。なんか、それらしくなった。 ・ついでにそれぞれの年の重心位置もプロット。 ・科研費の番号は適当に間引いて表示。 ・インタ…

自然言語解析。あとはグラフを書く。 そんなに悩むことなく。seabornを使ってカーネル密度マップを書いてみる。 fig = plt.figure(figsize=(10, 10)) sns.kdeplot(x=data[x], y=data[y], fill=True, cmap='CMRmap', thresh=0, levels=100, bw_method=0.1 ) s…