llm-jp/llm-jp-3-13b-instruct3をためしてみます。SFT に加えて DPO を施したモデルがinstruct3とのことです。Colab L4環境で試しました。13Bなんでなんとか動くだろう・・・と思いましたが、生成時間節約のためmax_tokens=100で動作させています。今回は、量子化せずに、オリジナルのモデルで試しました。
日本語に関しては問題ないレベルです。要約や計算も問題なさそうです。ただ、要約は丁寧さが欲しいかも。量子化したときにどの程度軽くなるのか、気になります。
生成結果
Q まどか☆マギカで一番かわいいのは？
A
「魔法少女まどか☆マギカ」には多くの魅力的なキャラクターが登場しますが、ファンの中で特に人気があるのは以下のキャラクターたちです：1. **鹿目まどか** - 主人公で、優しくて思いやりのある性格が魅力的です。彼女の純粋さと成長は多くの人々を魅了しています。
2. **暁美ほむら** -まどかを守るために何度も時間を遡る強い意志を持つキャラクター。その複雑な過去と感情的なストーリーテリングが人気
------生成時間: 173.7705 秒
そつのない答えです。
Q
まどか☆マギカのキャラクターのテキストを参照して回答してください。
まどか☆マギカで一番かわいいのは、誰ですか？（略）
A
「魔法少女まどか☆マギカ」のキャラクターの中で一番かわいいと思うのは誰かについて、人気や評価は個人の好みにより異なりますが、多くのファンに支持されているキャラクターとして、鹿目まどかが挙げられます。彼女は物語の主人公であり、優しい性格と強い意志を持っています。また、その純粋さや成長過程が多くの視聴者の心を掴んでいます。ただし、他のキャラクター、例えば暁美ほむらや巴マミなども非常に人気があり、それぞれの魅力があります。
------生成時間: 162.9633 秒
テキストをしっかり参照しているのか判別つきにくいですが、文頭の指示にしっかり応じた答えです。
Q 日本で二番目に高い山を検討して答えてください。日本語で回答してください。
A
日本で二番目に高い山についてお答えします。まず、日本の最高峰は富士山であり、その標高は3,776メートルです。次に高い山がどこであるかを確認するために、他の主要な山々の標高を調べます。
日本には他にも多くの高い山がありますが、その中で特に有名なものとしては、北アルプスの槍ヶ岳や穂高岳があります。しかし、これらの山々も3,000メートル前後の高さであり、富士山には及びません。
したがって、日本
------生成時間: 174.4871 秒
日本語は問題ありませんが、間違えそうな流れです。
Q 以下を簡単にまとめてください。
ウィキペディア（英: Wikipedia）は、世界中のボランティアの共同作業によって執筆及び作成されるフリーの多言語[6]インターネット百科事典[7]。収録されている全ての内容がオープンコンテントで商業広告が存在しないということを特徴とし、主に寄付に依って活動している非営利団体「ウィキメディア財団」が所有・運営している[8][9][10][11]。「ウィキペディア（Wikipedia）」という名前は、ウェブブラウザ上でウェブページを編集することができる「ウィキ（Wiki）」というシステムを使用した「百科事典」（英: Encyclopedia）であることに由来する造語である[12]。設立者の1人であるラリー・サンガーにより命名された[13][14]。
A
ウィキペディアは、世界中のボランティアによって共同で執筆・作成されるフリーの多言語インターネット百科事典です。全内容がオープンコンテントで、商業広告がなく、主に寄付によって運営される非営利団体「ウィキメディア財団」が所有しています。「ウィキペディア」という名称は、ウェブページ上での編集が可能な「ウィキ」システムを使った「百科事典」という意味の造語であり、設立者の一人であるラリー・サンガーによって名付けられました。------
生成時間: 155.6997 秒
多少の言いかえしつつのまとめてです。もう少しコンパクトでもよいかも。
Q 1+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。
A
与えられた式「1+1*2+3/2+2^10」について、計算過程および結果を以下に示します。まずは計算から始めます。
- 最初の「1+1*2」は「1 + 2 = 3」となります。
- 次に、「3/2」は「1.5」となります。
- 次に、「2^10」は「1024」となります。これらを足し合わせると、「3 + 1.5 +
------生成時間: 173.5387 秒
生成トークンが少ないので切れちゃいましたが、たぶん正解しそう。
Q 両さんと部長の話を創作してください。
A
「こちら葛飾区亀有公園前派出所」の主人公の両津勘吉（両さん）と中川圭一、大原大次郎が所属する超神田寿司を経営する大原家のお偉いさんである部長の会話ですね。
以下のような会話はどうでしょう。両さん:「部長、また両さんの寿司を食べに来てくれたんですね。ありがとうございます。」
部長:「おお、両津。また寿司が食べたくなったからな。」
両さん:「いつでもどうぞ。でも、今日は何かいいことで
------生成時間: 173.6890 秒
こち亀の知識があります！。llm-jpは、両さん好きなんですね(笑)
Q 日本で二番目に高い山を調べています。Googleで検索するためのqueryを検討して答えてください。日本語で回答してください。
A 日本で二番目に高い山は北アルプスの奥穂高岳（おくほたかだけ）で、標高は3,090mです。Googleで検索する際には、「日本 二番目 高い山」などのqueryを使用するとよいでしょう。</s>
------生成時間: 87.8742 秒
やはり、間違う流れ。query自体は無難ですね。
