Colaboratory
ローカルでも稼働できる軽量で人にやさしい印象のある日本語得意なモデルが出てきています。最近ではTanukiが開発されたことは、とても印象深いです。今でも、OpenAIやGoogleのモデルを使って数を処理するのは、コスト的に大変で一般人のお小遣いレベルでは…
試行錯誤ができる便利なColab。しかも、サブスクリプションで私ごときでは買えない環境を気軽に使える。でも、いつもいつもだらだらと使っていると使い切ってしまう。そこで、自分のPC環境でColabを接続をして使うこともできるという言い訳でミドルエンドPC*…
RWKV-6-Worldを試していたら、日本語版あるよ、とレスポンスいただいたので早速ためしてみます。 There are Japanese-tuned models in https://t.co/RrJ6RQWmxn And check https://t.co/7Ug0gvrMq1 — BlinkDL (@BlinkDL_AI) 2024年9月10日 モデルはこちらで…
RWKVはTransformerとRNNの両方を盛り込んだ少し変わったモデル。地道に継続学習させたり新しいモデルを出し続けている。 半年前にも試していた。面白い試みなので、時々どうなったんだろうと気になる存在です。 bwgift.hatenadiary.jp RWKV-6-WORLDというモ…
期待の大規模言語モデルTanuki-8BをColabで試しました。最初8x8BをL4環境で動かしたのですが・・・最初の数語で諦めました。重すぎました。 zenn.dev まどか☆マギカで一番かわいいのは？「まどか☆マギカ」には多くの魅力的なキャラクターが登場しますが、一…
Gemma2は小型ながら高性能。その後も色んな方がGemma2ベースにモデルを公開されています。ollamaで公開されているモデルをColab T4環境でトライしてみました。 ollama.com 9b-instruct-q4_K_MモデルをT4で実施。英語優先の印象はありますが、生成速度も速く…
画像生成で話題のFLUX.1が気になっていたところ、あるふさんがFP8に変換したもモデルを作成・紹介されていたので、Colabで動かして見ました。L4です。 FLUX.1 devのアニメモデルをFP8に変換しました。使用するVRAMは15GB以下になったはずです。全部載せても2…
Karaage0703さんがAIマリオ第二弾？としてLLMで遊ぶスーパーマリオを公開されていたので、早速遊んでみます。 プロンプト弄っても、なかなかここから進みません。 LLMで頑張るAIマリオ 基本的にはプロンプト芸でどうにかならないかなと弄ってみました*1。Ope…
長文生成が可能で9Bの動作させやすいモデルのlongwriter-glm4-9bをColab有料のL4で動作をさせました。１万文字以上となれば、もう本や論文が一気に生成できるレベルですね。 huggingface.co github.com 例に倣って日本語の観光案内を書かせました。これが一…
Qwen2の数学特化モデルQwen2-Mathを試して見ます。1.5Bでどこまでできるのか興味があったので、1.5B-Instructモデルを試します。英語しかサポートしていないようですが、Colab中では敢えて日本語の質問も入れ込んでいます。日本語の質問によっては、まともな…
「メモリ容量を増やすことなく、任意の長さのシーケンスを処理」できるというfalcon-manba。頭から食べられそうな名前で怖いです。 huggingface.co というわけで、ColabのL4環境(bfloat16)で試します。システムプロンプトの記述が分かりませんでしたが、入れ…
sakana.aiが発表した「LLMを使って、研究開発プロセスそのものの自動化する」AIサイエンティストは、機械学習の研究開発を自動的に実施します。計算機実験の範囲でできる研究開発はある程度の自動化支援は進むのだろうなと思っていましたが、あっという間に…
Embeddingモデルを使ったテキスト検索は手軽で協力。一方で、キーワード検索と検索式も重要な手法の一つだ。検索結果の説明が楽にできるからだ。特に「ない」ことの証明をするのに、〇〇で検索してもヒットしなかった、という説明がしやすいからだ。というわ…
これまた今更。メモとしてGemma2b-itのファインチューニングをColabでお試し。 データセットは定番のござるを利用させていただきます。ありがとうございます。 huggingface.co 特に特記することもなく完成。学習が効いているだろうくらいのところまで。後は…
今更感はあるのだが、LLMのファインチューニングにチャレンジ。ベースのモデルはphi3。なんとなくです。動作確認が目的です。きっとどこかに公開されているだろうと思います。しかし、探せなかったので挑戦しました。 Trainデータは、手ごろのものがなかった…
Gemma2の日本語チューニング版であるezo gemma2 2Bです。楽しみなので、さっそく試して見ました。2BなのでQ8_0を使ってみます。小さなサイズのため限界ありますが、動作も早いし、使いどころは沢山ありそうな高い性能です。楽しい。英語回答の傾向がまだ残っ…
Llama3.1のマージモデルを早速試します。このスピード感。手慣れた感じで期待しつつお試しします。 huggingface.co まどか☆マギカで一番かわいいのは？ まどか☆マギカは、魔法少女もののアニメで、各キャラクターが個性的に可愛いです。特に一番かわいいとい…
Large Enoughと言い切るMistral Largeが発表されました。ご家庭で動かすサイズではないのは重々分かっていますが、ollamaで動くようになったらしいので、無理やりColabで動かします。もちろん、A100環境です。珈琲だけだと時間が持たないので、動画でも見な…
ollamaでmistral-nemoが動くようになったらしいので、お試し。デフォルトだとあまりよろしくなかったので、temperature 0.3の設定を別途入れました。英語になる場面もありましたが、こんな小さなモデルでしっかり答えてくれます。計算もまずまずですし、使い…
Athene-70B-GGUFは日本語もいけるとのことなので、試して見ました。Athene-70B-Q4_K_Mでもかなりつらかったので、ColabのA100を引き当てて動かしました。流石の結果です。70Bは確かにローカルでも動きますが、一般人にはなかなか準備できない環境です。企業…
Colabで時系列解析をトライしてみました。利用するのはprophet。日本語の解説も意外と少ない。GeminiはWeb検索も併用するし、効率アップのための事前演習をします。 結果はこちら。 あとは、パラメータチューニングや季節性の解析といった要素も盛り込むと一…
サイバーエージェント社が発表した商用可能なLLMモデル。 www.cyberagent.co.jp GGUFモデルが早速上がっていますが、まだ十分ではないということ。llama.cppの問題の様ですが、それでも回答はできるようなので、強行してみます。 huggingface.co まどか☆マギ…
Llama3-ArrowSE-8B-v0.3をollamaとcolabでためします。期待もあります。さっそく、mmngaさんが、あっという間にgguf版をアップロードしていらっしゃいますので、ありがたく利用します。Q5_K_Mです。 huggingface.co まずは「まどか☆マギカ」ベンチ。 まどか☆…
「Web小説コーパスでNinja-V2にファインチューニングを行った、新しい小説生成特化型AI」という、Kagemusyaをためします。 huggingface.co お約束で二番目に高い山を聞いてみます。 日本で二番目に高い山を検討して答えてください。 「富士山」正解は「富士…
ELYZAから日本語で鍛えたllama-3ベースのELYZA-JP-8B-q4_k_mが発表された。8BモデルはGPT-3.5-turbo並みを達成しているという。さっそく、ためしてみます。colabで簡単なチャットもやってみました。 huggingface.co 日本で二番目に高い山を検討して答えてく…
GoogleさんのGemma2を試して見ます。当初、ollamaでうまく動かなかったんですが、おおよそFixされたようです。万全かはわかりませんが、それも調整されるでしょう。 huggingface.co 手始めに・・・。 日本で二番目に高い山を検討して答えてください。 日本で…
LLMベースのデータ抽出は意外と不安定で大量に適用するのは、正直怖い。調子に乗ってAPIコールなんかやり続けると、明細が怖い。 ローカルLLMでやってみたらどうなるか、隙間時間でお試し。 qiita.com ollama + gemna2 の環境で実行。 sampleコードを実行さ…
DeepSeek-Coder-V2はMoEのコードモデル。その性能はGPT4-Turboに並ぶとのこと。ollamaでためせるようなので、試して見ました。 試した感想。 ・自然な日本語で回答する。 ・基本的な要約タスクや質問には答える。質問の回答は間違いも多い。 ・計算タスクは…
Vecteus-V2-7BをColabで試します。こちらも期待しつつお試し。 huggingface.co huggingface.co から.f16でお試し。 日本で二番目に高い山を検討して答えてください。 二番目に高い山は富士山より少し低い山ですが、その山は北岳（きただけ）と言います。標高…
ローカルLLMに向き合う会で企画されたGPUサーバリソースを利用して作成されたモデル。期待大なので、まずは動かしてみます。 Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメ…
