Malum-230は手作りの日本語の事前学習・事後学習両用の論理推論データセットです。素晴らしいデータセットなので、ファインチューニングを手軽にできるLLaMA-Factoryのお勉強の題材として使ってみました。有難いです。
人手で作成した、事前学習・事後学習両用の論理推論データセット「Malum-230」をApache2.0ライセンスで公開しました！
— すでぃー (@sudy_super) 2025年1月5日
oasst2を用いた実験では、Qwen2.5-7Bに対しMalumの有無で比較学習を行い、Reasoningタスクの性能が向上することが確認できました。https://t.co/rVTlTyAWRo pic.twitter.com/WOqFfGjHiP
このモデルをllm-jp-3-1.8b-instructをもとにして、QLoRAでファインチューニングをします。
llm-jp/llm-jp-3-1.8b-instruct · Hugging Face
Colab T4環境にLLaMA-FactoryをCLIで利用しました。QLoRAによる学習を行いました。パラメータはexampleで挙げられていたものを利用します。動作確認用に近いお手軽パラメータになるのでしょうか。
学習したモデルによる返答例：
User: なぜ西アジアに油田が多いのか
Assistant: 西アジアは地中海と黒海の間に位置し、地中海はヨーロッパとアジアの境界となっています。
このため、地中海から黒海に向かう地下水が地下に溜まっており、その地下水の存在が西アジアの油田が多い理由となっています。User: 芸術家に必要な素質は？
Assistant: 芸術家に必要な素質は、「好奇心」です。
好奇心がなければ、新しいことに挑戦したり、自分の興味のあることに深くのめり込むことができません。
好奇心がなければ、芸術の本質である「美」を追求することができません。User: なぜ、芸術家に好奇心が必要なのか？
Assistant: 芸術家に好奇心が必要な理由は、芸術とは人間の感情を表現するものだからです。
人間の感情を表現するためには、人間の感情を理解する必要があります。
人間の感情を理解するためには、人間の感情を理解しなければならないのです。
したがって、好奇心がなければ、人間の感情を理解することができず、芸術の本質である「美」を追求することができないのです。
くどいなりましたね。きちんとした評価までは行ってないので断定はできませんが、学習効果が出ているかな・・・と思います。この程度の学習で論法らしき、味付けができたのは、よい学習データだからでしょう。感謝とともに、データつくりにも興味がわきます。
利用したColabノートブックです。
