rinnaさんから出たdeepseek蒸留推論モデルもやってみるべし。ということで、Colab L4環境にてrinnaさん純正のGGUFファイルを利用します。VRAM占有率は14577MiB / 23034MiBです。 知識がないと思われる事柄に関する返答は、下手な考え休むに似たり。時間かか…

rinnaさんより、qwen2.5-bakeneko-32b-instructが発表されました。Qwen2.5は基本性能も高く、他のチューニングモデルも高い性能を有しています。皆さん早速試されていて評判も高いようです。楽しみです。自分でやってみます。mmngaさんによるggufモデルを試…