地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

メモ:Colabでgemma-2b-itをファインチューニング

これまた今更。メモとしてGemma2b-itのファインチューニングをColabでお試し。

 

データセットは定番のござるを利用させていただきます。ありがとうございます。

huggingface.co

 

特に特記することもなく完成。学習が効いているだろうくらいのところまで。後は自分のデータセットを作ればいいと思うと気が楽になる。あとは、量子化をどこまで行うのか、といったことになる。難しいのは評価の仕方でしょうか。

 

やってみたいことがあるんだけれども、GPU欲しい・・ぞ。

 

gist.github.com