MIstralから公表されたMistral-Small-24Bを試します。Hugging Faceのページをみると、SLMだというのは、量子化したらRTX4090で動かせるのでSLMということなのでしょうか。gguf変換のモデルはmmngaさんによるものを利用します。ColabのL4環境です。VRAM占有率…

Sakana.AIより提案されたTAIDという学習手法を用いたモデルTinySwallow-1.5Bを試します。Colab T4環境で実施しました。VRAM占有率は1744MiB / 15360MiB でした。すでに多くの方が試していますが、このサイズを自分で動かさない手はありません。利用するならI…