Python
Mistral7BベースとしたMoEモデルでなかなか流暢な日本語を生成するらしいので試して見ました。ColabでT4でトライしてみました。 モデルはこちら。作者に感謝。 huggingface.co 質問：まどか☆マギカでは誰が一番かわいいか名前と理由を教えてください。 答え…
Qwenの新しいモデルQwen1.5-MoE-A2.7Bを試して見ました。少し期待しつつ・・・。 モデルのページはこちら。 huggingface.co 質問：日本で２番目に高い山は？日本で2番目に高い山は富士山です。 なかなか正解は難しい。 質問：日本の観光地でおススメを教えて…
RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。 Colab T4環境で動かしてみた。 gist.github.com 以下のやり取りで、Wall timeで2.78s。 問い：日本の有名な観光地と名物は？詳しく…
楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。 huggingface.co さっそく試して見ました。 まどか☆マギカで一番かわいいのは？ まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好み…
RWKVは、RNNとTransformerを組み合わせた推論が軽いという。継続して学習させているというので、時々チェックしていた。Eagle 7Bというモデルが出たので試してみる。翻訳性能も高くなっていて期待しつつ。 blog.rwkv.com というわけで、colabのメモリup＋GPU…
オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。 huggingface.co npakaさんの記事を見ながらColabで構築します。 note.com gist.github.com ColabのGPU T4で動かせるようなのでT4…
Tinyllamaをお気軽に量産？できる、infinite-tinyllamaをcolabで動作させてみました。ファインチューニングがお手軽にできると、きっと楽しくなるのだろうと思ってローカルで動かそうとしたのだが、何かとめんどくさいのでColabで動かしてみた。 github.com …
Pipenv installでhash値のエラーが生じて困っていた。ライブラリーの依存性が解消されないだけだと思って試行錯誤していたが、どうも様子がおかしい。調べてみると、同じようなところで悩んでいる方が・・・。 github.com 参考にして $ pipenv --rm$ sudo ap…
生成テキストに繰り返しが頻繁に行われるので、パラメータの影響かもしれないと思って弄っていた。 bwgift.hatenadiary.jp しかし、model cardにしっかり追記されてた。そこで改めてトライ。 github.com 生成される回答がかなりしっかりに。他の生成テキスト…
LLMのモデルをマージするのが流行っているらしい。そこで、nitky/Superswallow-7b-v0.1というモデルを試して見た。7Bなので、Colabの無料枠で実行できるかも・・・と思ってチャレンジ。 モデルはこちら。作成者に感謝。 huggingface.co 使ったColabはこちら…
バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。 github.com vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を２度実行するとエラー…
GGUF version の rinna/nekomata-7b-instructionをColabでお試ししました。 huggingface.co さっそく、colaboratoryで・・・。 github.com 結果。要約はもうちょっと頑張って欲しい気がしますが、7Bモデルでかつ量子化モデルがどんどん実用的になってきた感…
日本語に強いLlama2ベースのモデル。 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える | 東工大ニュース | 東京工業大学 細かい工夫を積み重ねていて期待できそう。しかも、7Bモデルはcolabで動かせそうなので…
ローカルPCで音声認識を使ってテキスト入力をさせてみようと思い立って、colaboratoryでテスト。いまさらながら・・・だけれども、やってみました。 参考サイト： faster-whisperでwhisper large-v3を動かしてみよう！ github.com 実行速度を比べてみる。GPU…
OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…
rinna.co.jp なんだか、凄そうな予感しかしないので、試して見ました。工夫することももなく、さくっと動作しました・・・。 github.com とりあえず、さくっと試して見ましたが・・・。7Bでこの性能まで来たのか・・・。 ### 入力:まどマギで一番かわいいの…
ELYZA-japanese-Llama-2-7b-instructも楽しそうなので動かしてみる。さほど工夫もなく、そこそこの速度が出る。 Q. 関羽を知っていますか？ A. はい、知っています。関羽は、中国の三国志時代の武将です。呉の主要な武将の一人で、呉の国力の増強に大きく貢…
日本語言語モデルが各社から発表されている。LINE社から発表になった日本語モデルを試してみる。時々、実在しているっぽい固有名詞が出てきたりと、学習データの残骸？のようなものが出てくる。やっぱし、お金をかけて丁寧な学習データを作成して公開するこ…
評判のJapanese StableLM Alphaを試したくてColabの無料枠で動かしてみました。npakaさんのサイトを参考にしました。 note.com 動作させた結果です。 github.com 参考にしたnpakaさんの質問 質問：まどか☆マギカでは誰が一番かわいい？ 答え：1. キュゥべえ2…
Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…
chatbot同士の会話の様に、キャラクターを付けて会話をLLMにさせるとどうなるのか。実験してみました。 司会役、前向きに考える役A、批判的に考える役B、を設定してお互いに会話をさせてみました。初めに司会役を設定せずに会話をさせると、あまり盛り上がら…
BabyAGI is an attempt to autonomously perform tasks while being composed of simple code. Therefore, even those who are not proficient in programming can easily run and enjoy it. BabyCatAGI seemed to be useful for some quick research. I inc…
spaCyからLLMを使えるように実装が始まっている。どんどんお気軽に使える様になってきてうれしい。 github.com とりあえず、簡単なテスト。 github.com FewShot学習も対応しているけれども、日本語はこれからの模様。こういう動きになると益々プロンプトエン…
色々と纏めさせたり、コード書くのを手伝ったもらったりと、大変便利なOpenAIのGPT。気軽なお遊びはやっぱり、音声でのキャラクター会話だろうとおもって試してみた。 こちらでいい記事を発見！ zenn.dev こちらのコードを元（fork）して手を加えてみた。 ・…
すっかり話題の巨大言語モデル。OpenAIのchatGPTなら個人が使える価格帯だし、ぼちぼち使ってみたい。そこで、colabでトライしてみた。 whipserで音声認識。chatGPTで返答を作成したらVOICEVOXで音声とする。色んな人が同じような手順でやっているので参考に…
例に従って簡単に動かせました。 github.com 質問 Answer the following question step by step in the detail. Give the rationale before answeringWhat should be implemented to eliminate war from the world? 答え War is a state of armed conflict b…
何やらさらに進化しているらしいということで・・・StableDiffusionで画像生成をチェックしてみました。使ったcolabのコードです。 github.com waifu-diffusion/wd-1-5-beta2 · Hugging Face Defpoint/Defmix-v2.0 · Hugging Face 用途に応じでアイデア次第…
フリーのニューラル機械翻訳モデル（日本語・英語）FuguMTをお試ししてみた。 staka.jp といっても簡単。ほぼモデルを呼び出すだけ。 github.com これくらいのベースが出来ているのであれば、分野や文書ごとに追加で学習させて使うやりかたが気軽にできそう…
ラズパイにPoetryを導入して無事に動いたものの、別のラズパイにも入れたが、いざ環境構築しようとすると・・・ Failed to create the collection: Prompt dismissed.. と、いうエラー。 調べると・・ Keyring errors during non-publishing operations · Is…
ラズパイでpythonのプログラムをするときにはpipenvで仮想環境を作って勉強していた。が、エラーが頻発する。cryptographyのインストールで失敗するのだ。どうも、rustでコンパイルしようしているようだ。 なので、rustをインストールする。 www.rust-lang.o…
