地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

llm-jp-3-1-8b-instructを少しだけファインチューニングしてColabでためす。

1.8Bでもなかなか良いのではないかと評判のLLM-jpをColabでチャレンジしました。浅い学習レベルですが、ファインチューニングして使ってみましたのでメモします。

 

llmc.nii.ac.jp

 

ファインチューニングのパラメータは、特に最適化なぞ考えず、決め打ちです。また、プロンプトもこれでいいのかは自信はありません。まぁ、味見なので、可能性が見えればOKという言い訳を胸に挑戦しました。日本語の会話には問題なさそうでした。むしろ、データセット中に改行を含ませたままだったため、回答に\\nや\nが多く含まれてしまいました。見直し必至ですね。結果からは削除して示します。

 

データセットは自作のものです。

huggingface.co

 

まどか☆マギカで一番かわいいのは?
あたし、マジ卍!鹿目まどかちゃんとか、まじ可愛いよね~💖さやかちゃんも、めっちゃ好きだよん♡杏子ちゃんとも、お友達になりたいなぁ…✨

マジ、まじかわいいよね・・・。npakaさんの記事*1とえらい違いだ・・・。

 

売り上げの時系列予測をするためにはどんな手法をとるのがベストか提案してください。

ちょ、売上予測って、過去のデータから未来の売上を予想する方法なの。例えば、季節ごとに売れる商品とか、イベントの日に売れるものとか、そういうのを全部集めて、それに基づいて予測するの!あと、需要と供給のバランスも大事だから、その辺も考慮しないとダメなの。あとね、季節ごとのトレンドとかもあるから、それも見逃せないポイントだよん!最後に、予測モデルっていうのがあって、それを使って売上を予測してくれるんだって。でも、予測モデルって複雑だし、ちゃんとしたデータがないとうまくいかないこともあるみたい…

なんか、頭いい高校生っぽい?


売り上げの時系列予測をするためにはどんな手法をとるのがベストか提案してください。
あら、売上予測って、トレンド分析とか回帰モデルとか、いろいろあるんだって!トレンド分析は、季節性とか周期性みたいなのがわかるから、ちょっと未来のことまでわかるみたいよ。回帰モデルは、過去のデータから未来の売上を予測するのに使うんだけど、ちょっと複雑だから、初心者には難しいかも…でも、ちゃんと勉強すればすごい結果が出せるみたいよ!あと、予測モデルっていうのは、いろんな方法があって、例えばARIMAモデルとかSARIMAモデルとか、もっと高度なやつもあるんだ。どれが一番いいか?って聞かれると、それはもう個人のニーズによるよね~たとえば、急激に変わるようなものじゃなくて、安定した売上を予測したいなら、回帰モデルがいいかもしれないし、トレンド分析も使えるかもね!でも、長期的なトレンドを知りたいなら回帰モデルの方がいいと思うわ!結局は、どの方法がいいかは、あなたのビジネスの状況や目標によって決まるってことね♡

いや、おっしゃる通りです。

 

+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。

ちょ、これ見て! 1+1*2+3/2+2の10乗って、めっちゃ複雑なの。でも、あたしみたいに数学得意な子なら、きっとできるはずだよん♡まずね、1は1で、2も2だから、合計で3になるよね。そして、3は3で、2は2だから、合計で5になるんだって!すごいでしょ?次に、3を2倍にすると、9になるみたいよ。でも、そのあとに2を足すと、10になっちゃうの…だから、計算してみると…\n\n(1+1*2)+(3*2)=5+6=11\n\n(3*2)+(2*2)=6+4=10\n\n(3*2)+(2*2)=6+4=10\n\n(3*2)+(2*2)=6+4=10\n\n(3*2)+(2*2)=6+4=10\n\n(3*2)+(2*2)=6+4=10\n\n(3*2)+(2*2)=6+4=10

ちょ、それ間違ってる。しかも、リピってる。

 

以下を簡単に日本語でまとめてください。

ウィキペディア(英: Wikipedia)は、世界中のボランティアの共同作業によって執筆及び作成されるフリーの多言語[6]インターネット百科事典[7]。収録されている全ての内容がオープンコンテントで商業広告が存在しないということを特徴とし、主に寄付に依って活動している非営利団体ウィキメディア財団」が所有・運営している[8][9][10][11]。「ウィキペディアWikipedia)」という名前は、ウェブブラウザ上でウェブページを編集することができる「ウィキ(Wiki)」というシステムを使用した「百科事典」(英: Encyclopedia)であることに由来する造語である[12]。設立者の1人であるラリー・サンガーにより命名された[13][14]。

ウィキペディアって、世界中の人が協力して作ってる、無料で使える超巨大なインターネット百科事典なの!全部オープンソースで、商業広告もなくて、お金は寄付で運営されてるんだって。ウィキメディア財団っていう団体が、みんなから集めたお金で運営してるみたいよ。ウィキペディアのサイトには、いろんな国の言葉で記事がいっぱいあって、全部が無料で読めるんだって!すごいよね~💖✨でも、みんなが自由に編集できるから、ちょっと怖いこともあるみたい。例えば、誰かが勝手に記事を削除したり、改ざんしたりすることがあるの。それに、まだちゃんと整理されてない部分もあるみたいなので、注意が必要だよ!あと、ウィキペディアにはルールがあって、みんなが安心して使えるように守らないといけないんだって。だから、ウィキペディアのことはちょっと難しいけど、興味があるならぜひ見てみてね!

wikipediaの文章を利用

「まとめ」にはなってないですね。また、情報に抜け落ちがあったり付け加えたりしています。日本語としては自然です。

このサイズで、自然な日本語のようですし、ファインチューニングしてもチャットが楽しくできそうです。意外とキャラ付けが効いています。ライセンスや学習データも公開されているので、いろいろなところで使われていく可能性もあるのではないでしょうか。

 

今回使ったColabです。

gist.github.com