2024-08-01から1ヶ月間の記事一覧
期待の大規模言語モデルTanuki-8BをColabで試しました。最初8x8BをL4環境で動かしたのですが・・・最初の数語で諦めました。重すぎました。 zenn.dev まどか☆マギカで一番かわいいのは？「まどか☆マギカ」には多くの魅力的なキャラクターが登場しますが、一…
LLMは強力な生成AIで能力高い。しかし、それでも、マリオのステージ1-1のクリアもすんなりできなかった。 bwgift.hatenadiary.jp そこで、Kazuhito00さんによるMobileVLMを使ってLLMマリオをプレイするnotebookはサクサク動いていたので、これを強化学習と組…
Gemma2は小型ながら高性能。その後も色んな方がGemma2ベースにモデルを公開されています。ollamaで公開されているモデルをColab T4環境でトライしてみました。 ollama.com 9b-instruct-q4_K_MモデルをT4で実施。英語優先の印象はありますが、生成速度も速く…
LLMでマリオをプレイ。引き続きトライしています。GPT-4oを使っています。基本的にプロンプト芸でどうにかしようとしています。 結果です。 AIマリオ GPT-4o / 20240818_01 試行錯誤で気が付いた点です。 １、位置関係の理解レベルが低い ２、したがって、移…
画像生成で話題のFLUX.1が気になっていたところ、あるふさんがFP8に変換したもモデルを作成・紹介されていたので、Colabで動かして見ました。L4です。 FLUX.1 devのアニメモデルをFP8に変換しました。使用するVRAMは15GB以下になったはずです。全部載せても2…
引き続きLLMマリオを挑戦します。 bwgift.hatenadiary.jp MobileVLMを使ってLLMマリオを動作するColab notebookを早速Kazuhito00さんが追加されたので、試して見ました。MobileVLM版では動作を極力シンプルにするため['right'], ['right', 'A']の２種の動作…
Karaage0703さんがAIマリオ第二弾？としてLLMで遊ぶスーパーマリオを公開されていたので、早速遊んでみます。 プロンプト弄っても、なかなかここから進みません。 LLMで頑張るAIマリオ 基本的にはプロンプト芸でどうにかならないかなと弄ってみました*1。Ope…
長文生成が可能で9Bの動作させやすいモデルのlongwriter-glm4-9bをColab有料のL4で動作をさせました。１万文字以上となれば、もう本や論文が一気に生成できるレベルですね。 huggingface.co github.com 例に倣って日本語の観光案内を書かせました。これが一…
Qwen2の数学特化モデルQwen2-Mathを試して見ます。1.5Bでどこまでできるのか興味があったので、1.5B-Instructモデルを試します。英語しかサポートしていないようですが、Colab中では敢えて日本語の質問も入れ込んでいます。日本語の質問によっては、まともな…
「メモリ容量を増やすことなく、任意の長さのシーケンスを処理」できるというfalcon-manba。頭から食べられそうな名前で怖いです。 huggingface.co というわけで、ColabのL4環境(bfloat16)で試します。システムプロンプトの記述が分かりませんでしたが、入れ…
sakana.aiが発表した「LLMを使って、研究開発プロセスそのものの自動化する」AIサイエンティストは、機械学習の研究開発を自動的に実施します。計算機実験の範囲でできる研究開発はある程度の自動化支援は進むのだろうなと思っていましたが、あっという間に…
Embeddingモデルを使ったテキスト検索は手軽で協力。一方で、キーワード検索と検索式も重要な手法の一つだ。検索結果の説明が楽にできるからだ。特に「ない」ことの証明をするのに、〇〇で検索してもヒットしなかった、という説明がしやすいからだ。というわ…
これまた今更。メモとしてGemma2b-itのファインチューニングをColabでお試し。 データセットは定番のござるを利用させていただきます。ありがとうございます。 huggingface.co 特に特記することもなく完成。学習が効いているだろうくらいのところまで。後は…
今更感はあるのだが、LLMのファインチューニングにチャレンジ。ベースのモデルはphi3。なんとなくです。動作確認が目的です。きっとどこかに公開されているだろうと思います。しかし、探せなかったので挑戦しました。 Trainデータは、手ごろのものがなかった…
Gemma2の日本語チューニング版であるezo gemma2 2Bです。楽しみなので、さっそく試して見ました。2BなのでQ8_0を使ってみます。小さなサイズのため限界ありますが、動作も早いし、使いどころは沢山ありそうな高い性能です。楽しい。英語回答の傾向がまだ残っ…
