バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。
vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を２度実行するとエラーとなる。github issuesを参照するとfixはもうじき反映されるようだ。ドキュメントもパラメータが一部しか例示されてない。これから整備されていくのが楽しみだ。
文章は、あまり破綻してなさそうだけれども、正解にはなかなか厳しい結果となった。rinna社のQwenモデルだったら違うのかもしれない。また、OpenAI API互換サーバーとしても動作できる。API動作速度時のベンチマークはどうなのだろう。気になるところ。
user
魔法少女まどか☆マギカで1番好きなキャラクターは？assistant
私は、魔法少女まどか☆マギカで一番好きなキャラクターは、魔法少女エマリアです。エマリアは、まどかの青梅竹马であり、とても可愛くて、まどかとの出会いをする前に、エマリアのことが大好きでした。また、エマリアは、まどかのためになることを決意し、私達を支えてくれるようになるために頑張っています。私たちは一緒に成長し、互いに変化しています。エマリアの存在は私にとって、魔法少女まどかの存在が大切な意味を持ち、私にとってかけがちな人物です。user
ドラえもんの主人公は？
assistant
ドラえもんの主人公は、大正芳人的声優である藤子・F.不二氏が声優監督を担当しました。user
日本で２番目に高い山はどこにありますか。
assistant
日本で２番目に高い山は富士山です。富士山は、日本で有名な山です。user
日本の首相を調べるにはどうしたらいいでしょう。assistant
日本の首相を調べるには、次のようなことができます。1. 自由党の首相官邸で首相官邸のホームページを確認し、首相の情報を確認することができます。
2. 自由党の公式ブログや公式Twitterアカウントなどを確認し、首相の最新情報を確認することができます。また、公式YouTubeチャンネルや公式Facebookページなどを確認し、首相の最新情報を確認することができます。これらの情報源を使用することで、日本の首相を調べることができます。
