地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

RakutenAI-7B-instruct-q4_K_M_ggufを試して見る。

RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。 Colab T4環境で動かしてみた。 gist.github.com 以下のやり取りで、Wall timeで2.78s。 問い:日本の有名な観光地と名物は?詳しく…

RakutenAI-7Bを試してみる。

楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。 huggingface.co さっそく試して見ました。 まどか☆マギカで一番かわいいのは? まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好み…

RWKV/HF_v5-Eagle-7Bを試してみる。

RWKVは、RNNとTransformerを組み合わせた推論が軽いという。継続して学習させているというので、時々チェックしていた。Eagle 7Bというモデルが出たので試してみる。翻訳性能も高くなっていて期待しつつ。 blog.rwkv.com というわけで、colabのメモリup+GPU…

Swallow-MS-7b-v0.1を試してみる。

オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。 huggingface.co npakaさんの記事を見ながらColabで構築します。 note.com gist.github.com ColabのGPU T4で動かせるようなのでT4…

TinyLlama量産するinfinite-tinyllamaをcolabで

Tinyllamaをお気軽に量産?できる、infinite-tinyllamaをcolabで動作させてみました。ファインチューニングがお手軽にできると、きっと楽しくなるのだろうと思ってローカルで動かそうとしたのだが、何かとめんどくさいのでColabで動かしてみた。 github.com …

GemmaをLORAと日本語データでファインチューニング

alfred さんのコードを参考にcolabで動かして見ました。折角なので「OpenMathInstruct-1 を日本語に自動翻訳した商用利用可能な180万件の指示チューニングデータセット」を使ってみます。 github.com 参考: Gemma初心者ファインチューニングコードです。HF…

Fine_tune_Gemma_models_in_Keras_using_LoRAを試す

Googleが発表したGemma。2Bモデルをファインチューニングをサンプルコードを使ってやってみました。せっかくなので、データセットを日本語databricks-dolly-15k-jaを使ってみます。Kaggleからモデルをダウンロードするので、対応する部分を整備して実行。 gi…

Pipenvでhashエラー

Pipenv installでhash値のエラーが生じて困っていた。ライブラリーの依存性が解消されないだけだと思って試行錯誤していたが、どうも様子がおかしい。調べてみると、同じようなところで悩んでいる方が・・・。 github.com 参考にして $ pipenv --rm$ sudo ap…

Qwen1.5を試す。

Qwenは優秀なモデルということらしいので、早速試して見た。 Qwen1.5-7B-Chat-GPTQ-Int8" Qwen1.5-7B-Chat-AWQ" Qwen/Qwen1.5-14B-Chat-AWQ" の順で試して見て・・・7Bだといまいちだったので、14Bまでcolab(無料)でお試し。 Qwen1.5-14B-Chat-AWQ 質問:日…

NextCloudの設定メモ

NextCloudは、クラウドストレージを構築する便利なOSS。クラウドストレージだけでなく、メールクライアントやチャットなど一通りの環境をクラウドに構築できる。便利に使ってきたが、警告や不具合の解消を実用上問題ない程度解消したのでメモ。 PHPはほとん…

wsl2とcuda: libcuda.so.1 is not a symbolic link

WSL2でcuda周りと思われるエラー。libcuda.so.1 is not a symbolic linkと。realなファイルでsymbolic linkじゃないと叱られる。 github.com /etc/wsl.confにautomount項目に記述を追加。 echo -e "[automount]\nldconfig = false" | sudo tee -a /etc/wsl.c…

nitky/Superswallow-7b-v0.1を再び試してみる。

生成テキストに繰り返しが頻繁に行われるので、パラメータの影響かもしれないと思って弄っていた。 bwgift.hatenadiary.jp しかし、model cardにしっかり追記されてた。そこで改めてトライ。 github.com 生成される回答がかなりしっかりに。他の生成テキスト…

nitky/Superswallow-7b-v0.1を試してみる。

LLMのモデルをマージするのが流行っているらしい。そこで、nitky/Superswallow-7b-v0.1というモデルを試して見た。7Bなので、Colabの無料枠で実行できるかも・・・と思ってチャレンジ。 モデルはこちら。作成者に感謝。 huggingface.co 使ったColabはこちら…

vLLMでQweb_7b_chat_AWQを試す

バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。 github.com vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を2度実行するとエラー…

GGUF version の rinna/nekomata-7b-instructionをColabでお試し

GGUF version の rinna/nekomata-7b-instructionをColabでお試ししました。 huggingface.co さっそく、colaboratoryで・・・。 github.com 結果。要約はもうちょっと頑張って欲しい気がしますが、7Bモデルでかつ量子化モデルがどんどん実用的になってきた感…

Swallow-7bを試す。

日本語に強いLlama2ベースのモデル。 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える | 東工大ニュース | 東京工業大学 細かい工夫を積み重ねていて期待できそう。しかも、7Bモデルはcolabで動かせそうなので…

いまさらながらwhisperで音声認識

ローカルPCで音声認識を使ってテキスト入力をさせてみようと思い立って、colaboratoryでテスト。いまさらながら・・・だけれども、やってみました。 参考サイト: faster-whisperでwhisper large-v3を動かしてみよう! github.com 実行速度を比べてみる。GPU…

Open InterpreterをLocal LLMで

OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…

Open InterpreterをLocal LLMで

OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…

Open InterpreterをLocal MMLで

OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…

cyberagent-calm2-7b-chat-GPTQ-calib-ja-1kを試して見る

特に工夫することもなく、Colabで動作。簡単に試して見ました。 github.com 扱える文字数も多いし、7Bでコンパクト。速度もまずまず出そう。個人でも色々と試して見ることができるのは嬉しいし楽しい。youriといい、calm2といい、日本語のLLMが楽しくなって…

youri-7b-instruction-gptqを試して見る

rinna.co.jp なんだか、凄そうな予感しかしないので、試して見ました。工夫することももなく、さくっと動作しました・・・。 github.com とりあえず、さくっと試して見ましたが・・・。7Bでこの性能まで来たのか・・・。 ### 入力:まどマギで一番かわいいの…

ELYZA-japanese-Llama-2-7b-instructを動かしてみる。

ELYZA-japanese-Llama-2-7b-instructも楽しそうなので動かしてみる。さほど工夫もなく、そこそこの速度が出る。 Q. 関羽を知っていますか? A. はい、知っています。関羽は、中国の三国志時代の武将です。呉の主要な武将の一人で、呉の国力の増強に大きく貢…

Code Llama 7B Pythonを試す。

CodeLlamaを試して見たくて、Colabで7BのPythonモデルを動かしてみる。プロンプトは、プログラムの時にコメントを書く要領で良いようなので、以下のように与えてみた。 プロンプト import openai # Function that response user inputed text. 結果 import o…

LINEのLineModell_japanese_large_lm_3_6b_instruction_sfを試してみる。

さっそく、LINE社が発表したinstructionモデルをColabで動かした。 huggingface.co パラメータは、Huggin Faceにのっていたものをそのまま採用。temperature=1.0すると、いまいちだったので、まずは、素直に公式を参考にする。 github.com レスポンスを見て…

LangChainでVicuna_7b_v1_5を頑張ってみる。

気軽に自分の(非力な)PCで動かせないかと、Vicuna_7bをLangChainで活用できないかと、Webの記事を参考に試行錯誤。Colabの無料プランの範囲でどうにかなるなら自分のPCでも動く可能性があるかもしれない。 で、やっては見たものの、ループしたり、プロンプ…

LINEによる36億パラメータの日本語言語モデルを試したよ。

日本語言語モデルが各社から発表されている。LINE社から発表になった日本語モデルを試してみる。時々、実在しているっぽい固有名詞が出てきたりと、学習データの残骸?のようなものが出てくる。やっぱし、お金をかけて丁寧な学習データを作成して公開するこ…

Colab(無料範囲枠で)japanese-stablelm-instruct-alpha-7bを試してみる。

評判のJapanese StableLM Alphaを試したくてColabの無料枠で動かしてみました。npakaさんのサイトを参考にしました。 note.com 動作させた結果です。 github.com 参考にしたnpakaさんの質問 質問:まどか☆マギカでは誰が一番かわいい? 答え:1. キュゥべえ2…

Langchain, plan and executeを試す。

LangchainのPlan and executeを試してみた。 BabyAGI からヒントを得て実装した、タスク立案→実行の流れで自律的に動作をする。題材として、トヨタ自動車のSWOT分析をさせてみる。 検索エンジンはSerpでなくDuckDuckGoにした。試行錯誤するとあっという間にS…

LLaMa2をllma2_13b_chat_ggmlv3で試してみる。

Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…