弱々環境でもどうにか動いて結構賢そうだったphi3の追加学習したモデルでもう少し遊んでみました。モデル作った方々ありがとうございます。
ggufモデルは、こちらの方が良いようなので、こちらがらモデルをダウンロードしました。
GPUは NVIDIA GeForce GTX 1650 (4GB)で、動作中は3677MiB/4096MiBと言った利用率でした。フレームワークはstreamlitを使いました。OpenWebuiとか使うとコードを書く必要ありませんが、今回は勉強のためにlangchainを使ってみました。こんな感じで正解なのかどうか・・・。
とりあえず、会話はできるようになった。これは楽しいぞ。
このモデルは、時々素に戻って英語がまじちゃう時がある。今後もファインチューニングが進むのだろうから、非常に楽しみ。
