Googleが発表したGemma。2Bモデルをファインチューニングをサンプルコードを使ってやってみました。せっかくなので、データセットを日本語databricks-dolly-15k-jaを使ってみます。Kaggleからモデルをダウンロードするので、対応する部分を整備して実行。
ファインチューニング前：
prompt = template.format(
instruction="どうやってヨーロッパに行きますか?",
output="",
)
print(gemma_lm.generate(prompt, max_length=256))
Instruction:
どうやってヨーロッパに行きますか?Response:
私は飛行機で行く。Instruction:
どうやってヨーロッパに行きますか?Response:
私は飛行機で行く。Instruction:
どうやってヨーロッパに行きますか?Response:
私は飛行機で行く。
ファインチューニング後
prompt = template.format(
instruction="どうやってヨーロッパに行きますか?",
output="",
)
print(gemma_lm.generate(prompt, max_length=256))
Instruction:
どうやってヨーロッパに行きますか?Response:
ヨーロッパは、いくつかの主要な空港と鉄道で easyjet と easyjet が接続されています。
ヨーロッパの主要な空港は、ロンドン、ブリュッセル、パリ、アムステルダム、フランクフルト、ベルリン、ブダペスト、ミュンヘン、ウィーン、ストックホルム、ストックホルム、ヘルシンキなどです。
もう一つ、ファインチューニング後
prompt = template.format(
instruction="光合成の仕組みを子どもにもわかるように説明してください。",
output="",
)
print(gemma_lm.generate(prompt, max_length=256))
Instruction:
光合成の仕組みを子どもにもわかるように説明してください。Response:
光合成は、植物が光とCO2を反応させて、糖とO2を生成する反応を指します。この反応には光エネルギー、CO2、H2O、O2、糖、ADP、ATP、H+が必要になります。この反応は、光触媒の光触媒の働きで進行します。
用途を限定して使いやすいようにするという流れも加速するのでしょうね。
