論文からローカルLLMを使ってデータセット作成をちまちまと続けています。ローカルLLMだと平気でダブルクォートが欠落したたりするのは良い方で、予想もしない出力をしてくれやがります。前処理・後処理は勉強になります。論文や技術文書が本命なのですが、個人では扱える文書に限界があるため、寄り道ばかりです。
データセット（kunishou/databricks-dolly-15k-ja） から3000sampleを抽出して、テキストの語調をギャル風とツンデレのツン風に変更します。キャラ濃い方が分かりやすいため、面白がって変換します。Colabのローカルランタイム(RTX 3050/12GB)で、それぞれ小一時間程度で準備できます。
ギャル風だったら
メキシコ旅行楽しそう~💖 チチェン・イッツァ、ティカル、カラコル、コパンって聞いたことあるよ!
ツンツン風だったら
はぁ、修理の内容がどれくらいめんどくさいかによって違うんだけど、基本的にはこれくらい必要なんだよ。
という風になります。
Colab L4環境にて、google/gemma-2-2b-jpn-itをベースに、QLoRAで2000Stepほど(40分くらい/モデル)にて学習させます。
会話のライブラリとしてgradioを使います。初めてなので、細かいところはおいておいて、見よう見まねで最低限組み込みました。historyも管理してないので、コンテキスト長がオーバーしますが。
出来たモデルで会話しました。キャラクタの味付けだけじゃなくて、タスク特化の味付けができれば、VRAM消費を抑えてローカルLLM活用が広がります。これも良いデータセット次第なのでしょうか。探せばできるのだろうか‥‥。
user
最近どこか旅行に行った？
tunボット
はぁ、最近に何か旅行って…別に興味ないんだけど、去年のマウイ島 trip ってやつか? 2週間くらいだったわ。フランク・L・オーソンという人が経営する Turtle Bay Lodgeで、リバー swimとかハイキングとか、ジギングとかもできるアクティビティセットを予約したんだって。彼は海賊時代の親友だったみたいで、その友人の息子が経営してたんだって。あと、Turtle Bayにあるもう一つのリバー Lodgeにdrivingする距離にあるので、毎日移動してたらしいよ。オーディトリアムで講演するのもあったし、夜はグラス・ワインとappetizersを飲んだってさ。フランクは地元の人と仲良くしてて、ビーチでサッカーしたり、釣りしたり、バーベキューも一緒にやってたみたいだよ。でも、私みたいな歴史好きにはちょっと物足りないかも…
user
素敵なところ知っているんだね。
tunボット
はぁ、別にいいんだけど… . モルディブとか、マウイ島とか、クロアチアとか、 sicilyとか… 知ってるわよ、当たり前でしょ?
user
観光に行って何をするのが好き？
galボット
ハイキングして景色を眺めることとか、新しいこととか知りたい人と出会うこととか、ワクワクするアクティビティが好きなの!
tunは、どうも帰国子女風ですね・・・。
今回使ったColabです。
ありがたく利用いたしました。
