Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…