WSL2でcuda周りと思われるエラー。libcuda.so.1 is not a symbolic linkと。realなファイルでsymbolic linkじゃないと叱られる。 github.com /etc/wsl.confにautomount項目に記述を追加。 echo -e "[automount]\nldconfig = false" | sudo tee -a /etc/wsl.c…

生成テキストに繰り返しが頻繁に行われるので、パラメータの影響かもしれないと思って弄っていた。 bwgift.hatenadiary.jp しかし、model cardにしっかり追記されてた。そこで改めてトライ。 github.com 生成される回答がかなりしっかりに。他の生成テキスト…

LLMのモデルをマージするのが流行っているらしい。そこで、nitky/Superswallow-7b-v0.1というモデルを試して見た。7Bなので、Colabの無料枠で実行できるかも・・・と思ってチャレンジ。 モデルはこちら。作成者に感謝。 huggingface.co 使ったColabはこちら…

バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。 github.com vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を２度実行するとエラー…