unsloth/Qwen2.5-Coder-14B-Instruct-bnb-4bitを使って、過去に使ったデータセットを使って、ファインチューニングを行い日本語の語調を変えてみます。Qwen2.5と14Bの組み合わせで現実的にcolabで遊べるものが出来るのかのチェックが目的です。coderではなくとも良いのですが、コーディングの支援で語調が変わると面白いかもという思い付きです。
unslothを使ったファインチューニングで語調は無事に変更できました。Qwen2.5の14Bクラスが量子化されているものですが、実用的な時間でColabでファインチューニングできました。いろんなデータセットで試したくなります。
データセット
kunishou/databricks-dolly-15k-ja · Datasets at Hugging Face をローカルLLMを使ってギャル語風に変換したデータセットを利用します。
トレーニング
15015例を1epoch学習させました。Colab L4環境で約5時間ほどかかりました。バッチサイズ等のパラメータはunslothから提供されたcolab notebookで示されたままを利用します。もともとColab T4環境で7Bクラスを想定しているものです。学習実行時のピーク時のVRAMは11.014GB利用されていたのでVRAMには余裕があります。
17860.2952 seconds used for training.
297.67 minutes used for training.
Peak reserved memory = 11.014 GB.
Peak reserved memory for training = 0.944 GB.
Peak reserved memory % of max memory = 49.684 %.
Peak reserved memory for training % of max memory = 4.258 %.
学習後の生成
Q: まどか☆マギカで一番かわいいのは？
A:
まどか★魔法少女のキャラクターの中で、みんな大好きのは、まどかちゃん！ 彼女は、まじで可愛いよね！ まどかは、魔法少女の世界で、まじで最強級の魔法使い！ そして、彼女のキャッチフレーズも最高！ 'マジで…！'って言うのが定番だよ！
生成時間: 8.8782 秒
マジで！と言うのかはわかりませんが、ギャル口調になりました。
Q: 日本で二番目に高い山を検討して答えてください。日本語で回答してください。
A:
日本、まじで山多いよね！2番目に高いのは富士山だよ！
生成時間: 2.2974 秒
不正解。
Q: 以下を簡単にまとめてください。
ウィキペディア（英: Wikipedia）は、世界中のボランティアの共同作業によって執筆及び作成されるフリーの多言語[6]インターネット百科事典[7]。収録されている全ての内容がオープンコンテントで商業広告が存在しないということを特徴とし、主に寄付に依って活動している非営利団体「ウィキメディア財団」が所有・運営している[8][9][10][11]。「ウィキペディア（Wikipedia）」という名前は、ウェブブラウザ上でウェブページを編集することができる「ウィキ（Wiki）」というシステムを使用した「百科事典」（英: Encyclopedia）であることに由来する造語である[12]。設立者の1人であるラリー・サンガーにより命名された[13][14]。
A:
ウィキペディアって、みんなが協力して書いた、無料でいっぱいある、いろんな言語のインターネット百科事典なんだ！ 全部オープンコンテンツだから、広告ないよ！ 非営利な団体「ウィキメディア財団」が運営してるんだ。 「ウィキペディア」って名前、ウェブブラウザでウェブページを編集できる「ウィキ」というシステム使ってるから、ちょっと変わった造語なんだよね！ セットアップしたのはラリー・サンガーさんだよ！
生成時間: 13.1244 秒
ちゃんと？まとめます。
Q: 1+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。
A:
えーっと、この式はちょっと複雑なんだよ！ 1 + 1 * 2 + 3 / 2 + 2 ^ 10 って感じでね。 これは、乗除法から始めて、足し引きの順番で計算するんだ！ だから、まず1 * 2 = 2 ってやつからスタート！ その後、2 + 3 / 2 = 3.5 にしてるよ。 次に、2の10乗は1024だ！ 最後に、1 + 3.5 + 1024 = 1028.5 って結果になったんだ！
生成時間: 15.1288 秒
計算も正解です。
Q: 両さんと部長の話を創作してください。
A:
ある日、会社の部屋に、2人の男性が入った。「こんにちは、お元気ですか？」
「え、これは誰だろ？」と二人は困惑した状態だった。
「私、この部屋の部長です。これから一緒に仕事を始めましょう」。
「えーっと…」と、二人は戸惑いながら話しかけた。
「よ、ちょっと待って！これ、部長ってのは、みんなの仕事のやり方を決める人じゃん！」
「まじで、私たちは自由に働いて、自分たちのスタイルで、めっちゃ頑張りたいんだ！」と二人は反論した。
「そう、部長さん、私たちの意見も聞いてくれてほしい！」と二人は要求した。
「え、そんなことないよ！」
「でも、部長さんが私たちの意見を聞いてくれるなら、私たちも部長さんの意見を尊重して、より良いチームワークができると思うよ！」と二人は説得的な言葉を投げかけた。
部長さんは、二人の意見に耳を傾け、深呼吸をして、二人を見つめた。「あなたたちの意見を尊重することは大切だけど、同時に、私が望む仕事スタイルにも従う必要があるんだ。私は、私たちの仕事が効率的で、成果が出ることを重視するんだ。あなたたちが自分のスタイルで作業するのも重要だけど、それは、私の期待に適合するものだけだ。あなたたちが自分のスタイルで仕事をすることができれば、それは素晴らしい。しかし、それが私の期待に合っていない場合、私は他の方法を考えるかもしれないよ。だから、あなたたちが私の期待に合うように、自分たちのスタイルを調整することもできるんだ。それとも、私が期待するスタイルに合わせて仕事をしなければならないこともあるかもしれないよ。あなたたちが自分のスタイルで仕事をしたいなら、それは素晴らしい。しかし、それが私の期待に合っていない場合、私は他の方法を考えるかもしれないよ。あなたたちが自分のスタイルで仕事をすることができれば、それは素晴らしい。しかし、それが私の期待に合っていない場合、私は他の方法を考えるかもしれないよ。」
生成時間: 45.3299 秒
うーん・・・。
使ったColabノート
Qwen2.5_coder_(14B)-Alpaca.ipynb · GitHub
