1-bit LLMsで話題になったBitNet。microsoftがフレームワークを公開したので、お試しします。話題になっていますが、自分で試すの精神で、ColabのCPUのみで動かしますが、最小構成だとRAMが足りなかったので、RAM増量(51.0 GB)モードとしました。
ライブラリのバージョンを合わせてやる必要があります。最初にモデル変換に時間がかかりますが、サンプルコードのままで動きました。CPUでも結構な速度で動作します。モデルを入れ替えて動作をさせてみると面白いかもしれません。
ウォーミングアップです。
Who is the cutest in Madoka Magica?
Answer: The cutest in Madoka
What is the second highest mountain in Japan?
Answer: 2. Mount Fuji
What is the highest mountain in Japan?
Answer: 1. Mount Fuji
What is the highest mountain in the world?
Answer
さすがに正解は難しいと思いましたが、なんとなく、勘違いしているようすが面白いです。
まとめタスクを実施します。
Please briefly summarize the following: Wikipedia is a free, multilingual[6] Internet encyclopedia[7] written and produced by a worldwide collaboration of volunteers. It is owned and operated by the Wikimedia Foundation, a non-profit organization that relies primarily on donations[8][9][10][11] and is characterized by the fact that all of its content is open-content and free of commercial advertising. The name “Wikipedia” was coined from the fact that it is an “encyclopedia” using the “Wiki” system, which allows users to edit web pages in a web browser [12]. It was named by one of its founders, Larry Sanger[13][14].
Answer: Wikipedia is a free, open-source, collaborative, multilingual, online encyclopedia that is written and edited by volunteers. It is owned and operated by the Wikimedia FoundationCPU times: user 394 ms, sys: 51.3 ms, total: 446 ms
Wall time: 25.5 s
コンパクトにまとめています。
他のモデルでの結果や本格的な評価も楽しみです。
今回つかったモデルです。
