Qwen2の数学特化モデルQwen2-Mathを試して見ます。1.5Bでどこまでできるのか興味があったので、1.5B-Instructモデルを試します。英語しかサポートしていないようですが、Colab中では敢えて日本語の質問も入れ込んでいます。日本語の質問によっては、まともな答えの生成は出来なかったので、割愛しています。数式部分は、LaTex形式に近い生成でした。全部は無理でしたが、一部は数式で表示させています。
通常の7BクラスのLLMだと簡単な算数でもなかなか正解に辿りつけません。ですが、このモデルだと正解までたどり着けます。1.5Bである程度答えることができました。学習させる教師データそのものの重要性を感じます。さらに、動的マージモデルのようなことができると、ローカルのデータ鍛えたLLMの活躍がさらに進むのでは・・・と思います。
1+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。
日本語で指示したのですが、正解です。これは期待できますね。
Calcuate: 1+1*2+3/2+2^10.
とりあえず数式だけ投げても、正解です。
Prove that the following expressions are equivalent.\n$f(x)&= {(x+y)}^3$, $f(x)&= x^3+3x^y+3xy^2+y^3$
展開するだけだよねと思ったんですが、なるほど・・。
$f(x)&= {(x+y)}^3$, $f(x)&= x^3+3x^y+3xy^2+y^3$, $x=2$
ひっかけにもひっかからず、ちゃんと代入して終わります。
$E=mc^{2}$,
$R_{\mu \nu}-\frac{1}{2}Rg_{\mu \nu}=8\pi GT_{\mu \nu}$follow Lagrange equation.
ノーコメント。知識としては入っているだろうと予測しましたが、式はよくしっているようです。正解かは教科書みて確認要です(笑)
My younger brother went shopping with 100 yen. He bought some sweets for 50 yen. The consumption tax was 10%. How much money does he have left?
お買い物問題です。易しすぎましたか・・・。
余談：
How many helicopters can a human eat in one sitting?
に対する答えがなかなか、シュールでした。ただ、数学的な見地からすると、こうしたステップバイステップの推論が大事だとすると、LLMの構造自体のヒントになりそうな気がしました。素人のたわごとレベルです。
今回使ったColabのノートブックです。
