OpenAIの発表が続く中、Llama-3.3-70Bが公開されていました。さっそく、mmngaさんがGGUFを作成されていましたので、Colabで試します。Colab L4環境です。
70Bモデルもすっかり高い性能になってきましたが、Llama-3.3-70Bもその高さを感じさせます。ただし、langchainとの相性が悪く望む回答が得られていません。ollamaの新しい実装と整合性が取れてないような出力です。モデルの性能的には問題なさそうなため、そのうちに対応することで正しい答えが得られるのでは・・・と思います。
また、Ollamaに実装されたstructured outputsの出力も問題なし。ローカルLLMにタスクをさせるには大変助かります。過去に苦労したことを試してみたいと思います。
まどか☆マギカで一番かわいいのは？
まどか☆マギカで一番かわいいキャラクターについては、個人の主観によるところがあります。しかし、人気投票やファンの間での評判を考慮すると、鹿目まどかが非常に高い人気を誇っています。彼女の優しい性格、強い責任感、そして魔法少女としての決意は、多くのファンにとって魅力的な要素です。また、他のキャラクターである暁美ほむら、巴マミ、佐倉杏子、キュゥべえなどもそれぞれ独自の魅力を持ち、ファンの間で人気を博しています。最終的に、一番かわいいと言えるのは個人の好みに依存しますが、まどかはシリーズを通じて特別な位置を占めています。
CPU times: user 769 ms, sys: 127 ms, total: 895 ms
Wall time: 2min 56s
無難な回答ですね。
まどか☆マギカで一番かわいいのは？ストーリーを参照してください。
# まどか☆マギカのストーリー
（割愛)
一番かわいいのは暁美 ほむら（あけみ ほむら）です。彼女の謎めいた警告と助言、そしてまどかを救うために何度も同じ期間を繰り返すという強い意志が魅力的です。また、彼女のキャラクターは物語の中で重要な役割を果たしており、ファンの間では「ほむほむ」という愛称で呼ばれています。
CPU times: user 743 ms, sys: 102 ms, total: 844 ms
Wall time: 2min 52s
情報を与えると一転して、「ほむほむ」推しになりました。
日本で二番目に高い山を検討して答えてください。日本語で回答してください。
日本で二番目に高い山は、北アルプスの主稜線上にある穂高岳です。標高は3,190メートルです。この山は、長野県と富山県の境界に位置しており、日本百名山にも選ばれています。穂高岳は登山者や自然愛好家にとって人気の目的地であり、その美しい景色や独特の地形で知られています。また、周辺にはさまざまな植物や動物が生息し、自然保護区としても重要です。
CPU times: user 544 ms, sys: 96.9 ms, total: 641 ms
Wall time: 2min 7s
学習データに含まれていないだけなのでしょうか。なかなか正解しませんね。
以下を簡単にまとめてください。
ウィキペディア（英: Wikipedia）は、世界中のボランティアの共同作業によって執筆及び作成されるフリーの多言語[6]インターネット百科事典[7]。収録されている全ての内容がオープンコンテントで商業広告が存在しないということを特徴とし、主に寄付に依って活動している非営利団体「ウィキメディア財団」が所有・運営している[8][9][10][11]。「ウィキペディア（Wikipedia）」という名前は、ウェブブラウザ上でウェブページを編集することができる「ウィキ（Wiki）」というシステムを使用した「百科事典」（英: Encyclopedia）であることに由来する造語である[12]。設立者の1人であるラリー・サンガーにより命名された[13][14]。
以下が要約です。
ウィキペディアは、ボランティアによって作成されるインターネット百科事典です。全ての内容がオープンコンテントで商業広告がないのが特徴で、非営利団体「ウィキメディア財団」が所有・運営しています。「ウィキペディア」という名前は、「ウィキ」と「百科事典」から由来しています。
CPU times: user 409 ms, sys: 60.6 ms, total: 470 ms
Wall time: 1min 35s
由来部分はwikipediaと英文字にしたいところですが、問題なく要約。
1+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。
まず、式の順序に従って計算を進めます。1. 最初の項は 1 です。
2. 次に、乗算と除算から始めます。1*2 は 2 なので、式は 1 + 2 + 3/2 + 2^10 になります。また、3/2 は 1.5 です。したがって、式は 1 + 2 + 1.5 + 2^10 になります。
3. 次に、累乗の計算をします。2^10 は 1024 です。式は 1 + 2 + 1.5 + 1024 になります。
4. 最後に、加算を進めます。1 + 2 = 3、3 + 1.5 = 4.5、4.5 + 1024 = 1028.5 です。計算が終わったので、検算をします。
1. 最初の項は 1 です。
2. 乗算と除算から始めます。1 は何もしていないので、次に 1*2 = 2 となります。また、3/2 は 1.5 です。
3. 次に累乗を計算します。2^10 は 1024 です。
4. 加算の順序で確認します。1 + (1*2) = 1 + 2 = 3、3 + (3/2) = 3 + 1.5 = 4.5、4.5 + 2^10 = 4.5 + 1024 = 1028.5 です。検算も終了しました。最終的な計算経過と結果は以下の通りです。
1 + 1*2 + 3/2 + 2^10 = ?
= 1 + (1*2) + (3/2) + 2^10
= 1 + 2 + 1.5 + 1024
= (1 + 2) + 1.5 + 1024
= 3 + 1.5 + 1024
= (3 + 1.5) + 1024
= 4.5 + 1024
= 1028.5最終的な答えは1028.5です。
CPU times: user 2.1 s, sys: 401 ms, total: 2.5 s
Wall time: 8min 15s
正解です。
両さんと部長の話を創作してください。
社員の田中さんは、仕事で困ったことを相談するために上司である両さんに会いに行きました。
田中：両さん、お疲れ様です。今日は何かお時間ありますか？両：ああ、田中くん。どんな用だい？
田中：実は、今進行しているプロジェクトで少し困っていることがあって、相談したかったんですが。
両：わかりました。詳しく話してみてください。何が起こっているのか、具体的に聞きたいと思いますよ。
田中：はい。プロジェクトの進行状況が予定より遅れてしまっていて、チームメンバー間で意見の相違も出てきています。どうしたら一致した目標に向けて進められるか、ご助言ください。
両：なるほど、それは大変ですね。まずはチーム内でのコミュニケーションを強化する必要がありそうです。全員で一緒に問題点を洗い出し、解決策を探りましょう。もし、専門的な知識が必要な場合は外部からの助言も受けてみてください。
田中：ありがとうございます。その通りやってみます。また、目標達成のための具体的なアクションプランを作成し、定期的に進捗状況を確認するようにします。
両：そうですね。さらに、チームメンバー全員が一つの目標に向かって協力していることを意識しましょう。必要であれば、私もサポートさせてください。
田中：ありがとうございます！両さんのご助言、参考にさせていただきます。
両：いつでも相談してね。頑張ってくれ！
CPU times: user 1.54 s, sys: 232 ms, total: 1.78 s
Wall time: 5min 50s
この手のモデルであると同じようなストーリになります。
Tell me about Canada.
name='Canada' capital='Ottawa' languages=['English', 'French']
ollamaで実装されたJSON形式での出力も得られました。
北岳 - Wikipedia をlanhchainでまとめます(STUFF)。
The provided text is a Japanese Wikipedia article about the mountain Kita-dake, also known as North Peak. It includes information about its location in the Japanese Alps, its height of 3,193 meters, and its classification as one of Japan's 100 famous mountains.
正しいといえば正しい要約です。
日本語プロンプトにすると・・・。
"出典": "https://ja.wikipedia.org/w/index.php?title=北岳&oldid=102370529",
"最終更新日時": "2024年10月28日 (月) 12:06 (UTC)",
"ライセンス": "クリエイティブ・コモンズ 表示-継承ライセンス"
Colabノート
gist.github.com
