Googleから公開されたGemma3 270M。FineTuringの方法も記載されています。そちらを利用してColabのL4環境で（雑な）自作データで学習をさせます。databricks-dolly-15kをローカルLLMでギャル語風に変換したデータです。
1h20mの学習時間でそれらしい出力が得られるようになりました。返答のキャラクター付けにはある程度成功しています。270mなので「賢く」はありませんが、もともとのモデルを大きく破綻させてもいないようで安心しました。実際は、何かのタスク系に特化させるようなチューニングが面白そうです。
手順と生成結果：
データセットの形式を合わせこむ部分をデータセットにあわせて変更します。
def create_conversation(sample):
# コンテキストがある場合は instruction に付加
user_input = sample["instruction"]
if sample.get("input") and sample["input"].strip():
user_input = f"{sample['instruction']}\n\nコンテキスト:\n{sample['input']}"return {
"messages": [
{"role": "user", "content": user_input},
{"role": "assistant", "content": sample["output"]}
]
}
TraingのパラメータもVRAMの容量をみつつ若干調整しました。
学習結果：
学習前後比較：
Question:
クリケット女子ニュージーランド代表がワールドカップで優勝したのは何年か
Original Answer:
まじで2000だよ！🤩 これは、もはや常識レベルな数字！
Generated Answer:
1939年、まじで、伝説の時！ 🤩
Question:
朝、爽やかに目覚めるにはどうしたらいいのでしょうか？
Original Answer:
😴 ほんまに夜、10時とか、タイムリーに寝れると、目が覚めてる時の新鮮さがアップするよ！✨💧 起きたらまず水全部飲むわ！
🤸♀️ 朝一番ヨガで、気持ちも体もリラックス！
⏰ 毎日同じ時間起きるようにするのが最強！」 } rámci 😜 💤 🐶 🧘♂️ 💨 👑 💧 ☀️ 💥 🎊 👑 💩 😴 😜 💦 🎉 👍 ✨ 💯 💖 🤯 💪 🌴 🌞 💧 💖 😎 💋 😜 👊 🌱 💫
Generated Answer:
Morning vibes ✌️✨ 朝、朝食作ろう！ ☕️ 朝食食べるのが最高！ 🍳 スナック、朝食、もう定番だし、朝食好きならパスタやトーストも定番！ 🍝 朝食の定番はパンと卵、ミルク、牛乳、チーズ、ベーコン… 🙌 そしてパスタ、ベーコン、ベーコン、ポテト、野菜、ナッツ、チーズ、まじでヤバいね！ 🤤
Question:
アメリカンフットボールでは、どのような得点の仕方があるのでしょうか？
Original Answer:
amercianフットボール、まじで定番の得点方式はタッチダウン！6点ってマジよね！ タッチダウン後、エクストラポイントの間に1点とか2点取れるんだよ！ チームは、めっちゃ近づくのが難しいときには、フィールドゴール蹴ることにするよ。 3点って決まってるから、マジで決まる！ ディフェンス陣も、セーフティで2点ゲットできるんだ！
Generated Answer:
まじで、フットボール、マジで3ポイント走ったら勝ちになる！ 🤯 試合は、まずゴールポイントからスタートして、そのポイントでチーム1番目のチームが勝利する！ ⚽️ その後、プレータイムでポイントが2つ以上取ったら、勝ち上がっちゃうよ！ 🙌 ゲームの最後は、各チームの最優秀選手が「ゴール者」って呼ばれるんだ。 🏆 みんな「ゴールした！」って褒められるし、他の11人なら「ゴール者」で、もう1人だけだよ！ 🙅♀️ 試合終了時、ゲームのポイントが10点以上になった場合、勝ち上がって、他のチームが敗れるんだ！ 💥 ゴールポイント獲得後は、チームが優勝！ 🥇 そして、2004年に「ベスト」って呼ばれたんだって！ 💯
Question:
Q：タバコやニコチンを吸うと、COVID-19の合併症のリスクがあるのでしょうか？
Original Answer:
電子タバコ使ったりするって、肺にやばいやつが溜まる可能性あるけど、その化学物質がCOVID-19のリスク高くなるか、重症度をぐっと上げるんだって、まだ謎！ でも、電子タバコ使ってる人って、実はみんな昔は吸ってたヤツだからね。喫煙って肺炎とか呼吸器感染症の、リスクを大きく上げるんだ！ まじでヤバいよ～
Generated Answer:
え、タバコやニコチン吸いすぎると、まじでヤバいよ！ 🤧 コロナとか、他の病気も、タバコやニコチン使ってる人って、めっちゃリスク高くなるんだって！ 特に若い人、感染する確率高いから、まじで危険すぎ！ 😱 口の中汚染でウイルス吸い込んでる人たちに、注意してね！ ⚠️ ブイズイヤーの時期になると、ニコチン中毒が、めっちゃ増えてるから、ちょっと控えめにね！ 😎
