npakaさんの記事を参考にしてRecuurentGemmaを試してみる。 note.com 軽くてサクサク動く。ローカルで十分実用的に感じます。 質問: Create python code for plot stock price trend of APPL and META.答え:```pythonimport matplotlib.pyplot as pltimport …

Mistral7BベースとしたMoEモデルでなかなか流暢な日本語を生成するらしいので試して見ました。ColabでT4でトライしてみました。 モデルはこちら。作者に感謝。 huggingface.co 質問：まどか☆マギカでは誰が一番かわいいか名前と理由を教えてください。 答え…

command-Ｒ-plusが話題なのでcolabでお試し。非商用ライセンス。GPT4並みと言われるが、Q2量子化モデルだと23GBでも動くらしいので、先人の有難いトライを参考にcolabでチャレンジしてみた。colabでのコードは最後にgithubへのリンクで示した。 質問その１ …

楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。 huggingface.co さっそく試して見ました。 まどか☆マギカで一番かわいいのは？ まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好み…

Tinyllamaをお気軽に量産？できる、infinite-tinyllamaをcolabで動作させてみました。ファインチューニングがお手軽にできると、きっと楽しくなるのだろうと思ってローカルで動かそうとしたのだが、何かとめんどくさいのでColabで動かしてみた。 github.com …

alfred さんのコードを参考にcolabで動かして見ました。折角なので「OpenMathInstruct-1 を日本語に自動翻訳した商用利用可能な180万件の指示チューニングデータセット」を使ってみます。 github.com 参考： Gemma初心者ファインチューニングコードです。HF…

Qwenは優秀なモデルということらしいので、早速試して見た。 Qwen1.5-7B-Chat-GPTQ-Int8" Qwen1.5-7B-Chat-AWQ" Qwen/Qwen1.5-14B-Chat-AWQ" の順で試して見て・・・7Bだといまいちだったので、14Bまでcolab(無料)でお試し。 Qwen1.5-14B-Chat-AWQ 質問：日…

生成テキストに繰り返しが頻繁に行われるので、パラメータの影響かもしれないと思って弄っていた。 bwgift.hatenadiary.jp しかし、model cardにしっかり追記されてた。そこで改めてトライ。 github.com 生成される回答がかなりしっかりに。他の生成テキスト…

バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。 github.com vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を２度実行するとエラー…

GGUF version の rinna/nekomata-7b-instructionをColabでお試ししました。 huggingface.co さっそく、colaboratoryで・・・。 github.com 結果。要約はもうちょっと頑張って欲しい気がしますが、7Bモデルでかつ量子化モデルがどんどん実用的になってきた感…

日本語に強いLlama2ベースのモデル。 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える | 東工大ニュース | 東京工業大学 細かい工夫を積み重ねていて期待できそう。しかも、7Bモデルはcolabで動かせそうなので…

特に工夫することもなく、Colabで動作。簡単に試して見ました。 github.com 扱える文字数も多いし、7Bでコンパクト。速度もまずまず出そう。個人でも色々と試して見ることができるのは嬉しいし楽しい。youriといい、calm2といい、日本語のLLMが楽しくなって…

rinna.co.jp なんだか、凄そうな予感しかしないので、試して見ました。工夫することももなく、さくっと動作しました・・・。 github.com とりあえず、さくっと試して見ましたが・・・。7Bでこの性能まで来たのか・・・。 ### 入力:まどマギで一番かわいいの…

ELYZA-japanese-Llama-2-7b-instructも楽しそうなので動かしてみる。さほど工夫もなく、そこそこの速度が出る。 Q. 関羽を知っていますか？ A. はい、知っています。関羽は、中国の三国志時代の武将です。呉の主要な武将の一人で、呉の国力の増強に大きく貢…

さっそく、LINE社が発表したinstructionモデルをColabで動かした。 huggingface.co パラメータは、Huggin Faceにのっていたものをそのまま採用。temperature=1.0すると、いまいちだったので、まずは、素直に公式を参考にする。 github.com レスポンスを見て…

Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…

chatbot同士の会話の様に、キャラクターを付けて会話をLLMにさせるとどうなるのか。実験してみました。 司会役、前向きに考える役A、批判的に考える役B、を設定してお互いに会話をさせてみました。初めに司会役を設定せずに会話をさせると、あまり盛り上がら…