気軽に自分の(非力な)PCで動かせないかと、Vicuna_7bをLangChainで活用できないかと、Webの記事を参考に試行錯誤。Colabの無料プランの範囲でどうにかなるなら自分のPCでも動く可能性があるかもしれない。
で、やっては見たものの、ループしたり、プロンプトに対してパースできない返答が帰ってきたりと芳しくない。もちろん、LangChainのプロンプトそのままだと無理があることもあるのだろう。
気に入った質問と答え。遊びには十分使えるのかも。
Q. 最後のジェダイは誰?
A. 最後のジェダイはルーク・スカイウォーカーです。
Q. Who is the last JEDI?
A. Rey is the last Jedi.