RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。
Colab T4環境で動かしてみた。
以下のやり取りで、Wall timeで2.78s。
問い：日本の有名な観光地と名物は？詳しく教えて。
回答：日本には多くの有名な観光地がありますが、その一つに東京があります。東京は東京都都であり、多くの著名スポットやランドマークが存在する都市です。東京の名物といえば、東京料理です。東京料理は様々な種類の料理を提供しており、特に寿司やそばが有名です。東京には他にも様々な種類の料理を提供していますが、寿司やそばは特に有名です。
CPU times: user 2.74 s, sys: 10.6 ms, total: 2.75 s
Wall time: 2.78 s
この時、GPU RAM 4.7 / 15.0 GBでした。
