AI
Qwen2.5-3B-128KのGGUFモデルを作成されている方がいらっしゃったので、Colab T4環境で試してみました。有難く試してみます。なんやかやで、長文の投入は出来るモデルは心強いですよね。長文の解析で恩恵をあずかるのは、コード解析や論理性のないストーリー…
llama-3-1-swallow-8b-instruct-v0.2が公表されていましたので、試してみます。コツコツと積み重ねて発表されていて（文字通り）陰ながら応援しています。ColabT4環境でテストを行いました。 生成された文章は、簡潔で饒舌な方ではありません。長文生成は複…
llama3.2-vision:11bを試してみます。ColabのL4環境です。動作時、VRAM占有割合は11865MiB / 23034MiBでした。このモデルでは、分かりやすい風景や人物の状況は読みとれている回答が生成されました。日本語で質問も英語が混在することありません。意地悪な質…
aya-expanse-8bを4bit量子化してColabT4環境で試しました。CC-BY-NC 4.0 Licenseです。量子化しても日本語も大きな問題はありませんでしたが、日本の知識は限度がありそうです。計算もそつなくこなし、さすがCohere社のモデルです。進歩するOSSモデルの中で…
colab（T4)上でollamaを用いて、IBMのgranite3のMoEバージョンを試します。オリジナルそのままのモデルではありませんが、応答速度の感触も見るためにセルの実行速度レベルで雑に比較しました。denseより結構早いんじゃないかと期待したのですが、ollamaでは…
IBM発のLLMであるgranite-3.0が更新されていたので、ためしてみます。RAGやコード生成などのタスク向けとのこと。多言語に対応しているようで日本語も入っていました。さっそく試します。当初はモデルカードに書いてあったサンプルで動作させて試していたの…
ChatGPTが現れた当初、自立型エージェントとしてBabyAGIはインパクトがありました。シンプルな自己構築型エージェントとして「BabyAGI 2o - the simplest self-building autonomous agent.」が公開されていました。簡単なコードで実現されていて勉強にもなり…
gemma-2-2b-jpn-itを翻訳タスクにチューニングしたローカルモデルが公開されていましたので、早速使ってみます。— 七誌 (@7shi)さんの手でollamaのmodelにアップロードされているいものがありました。感謝しつつollamaで利用します。軽量ローカルLLMで気軽に…
Llama-3.1-Swallow-8Bが公開されてたので試しました。楽しみです。 swallow-llm.github.io すっきりとした冗長の感じもない文章を生成しました。日本で二番目に高い山は不正解でしたが、計算は正解です。指示の効き具合も改善されたとのことでしたので、lang…
Cyveragent社のMistral-Nemo-Japanese-Instruct-2408が、なかなか強いということなので試してみました。ollamaで使えるようにLucas(@LucasChatGPT)さんが変換されていたので、ありがたく使います。環境はColab L4環境です。VRAMは 13935MiB / 23034MiBの占有…
rinnaからもGemma2 2Bのチューニングが出ていました。本家も試したので、こちらも自分で試します。@alfredplplさんが、さっそくgguf版を出していただいているのでありがたく使います。 rinnaはGemma 2 2Bの日本語継続事前学習モデルと指示学習モデルからなる…
gemma-2-2b-jpnが公開されました。すでに多くの方が味見していますが、やっぱり自分でも試してみないことには、はじまりません。 blog.google あっという間にOllamaでも動かせるものがアップロードされていました。早すぎます。感謝です。こちらを利用します…
llm-jp/llm-jp-3-3.7b-instructとしたチューニングを施したllm-jp-3-3.7b-instruct-EZO-Humanitiesを試してみました。ColabのT4環境でVRAMぎりぎりで動作しました。日本語や日本関係の基礎知識は3.7bと思えないほどありそうな印象でした。ながながと文章を生…
あるふ(@alfredplpl)さんが、早速、量子化バージョンを作成しアップロードされていたので、ありがたくお試しします。1.8Bです。せっかくなので、ローカルランタイムに接続して走らせてみました。RTX 3060(12GB)で、VRAMの占有も小さく(3767MiB)、コンパクト…
Llama-3.2が発表されました。LLMLlama-3.2-1B-Instructは小型のモデルでローカルで気軽に動作できそうです。ファインチューニングして遊んでみます。本格的なチューニングは専門家にお任せするとして、どんな感じなんだろう・・・と動かすのが狙いです。ロー…
1.8Bでもなかなか良いのではないかと評判のLLM-jpをColabでチャレンジしました。浅い学習レベルですが、ファインチューニングして使ってみましたのでメモします。 llmc.nii.ac.jp ファインチューニングのパラメータは、特に最適化なぞ考えず、決め打ちです。…
ローカルLLMだといろんなモデルを同時に動かすのは大変だ。最近、（いまさら）LoRAで遊んでいたので、LoRAのモデルを切り替えることで複数のモデルを使い分ければ、プロンプトだけで悩まずに利用の幅が広がる。また、ゲームのNPCなんかだったら、いろんなキ…
Qwen2.5が発表されていました。Qwen2もよかったので順調に進化しているのでしょう。 huggingface.co すでに多くの方がためしていらっしゃるようですが、自分でやります。7bモデルをColabのT4環境でためします。楽しみです。GGUFモデルは、今現在ollamaでは推…
ローカルでも稼働できる軽量で人にやさしい印象のある日本語得意なモデルが出てきています。最近ではTanukiが開発されたことは、とても印象深いです。今でも、OpenAIやGoogleのモデルを使って数を処理するのは、コスト的に大変で一般人のお小遣いレベルでは…
RWKV-6-Worldを試していたら、日本語版あるよ、とレスポンスいただいたので早速ためしてみます。 There are Japanese-tuned models in https://t.co/RrJ6RQWmxn And check https://t.co/7Ug0gvrMq1 — BlinkDL (@BlinkDL_AI) 2024年9月10日 モデルはこちらで…
RWKVはTransformerとRNNの両方を盛り込んだ少し変わったモデル。地道に継続学習させたり新しいモデルを出し続けている。 半年前にも試していた。面白い試みなので、時々どうなったんだろうと気になる存在です。 bwgift.hatenadiary.jp RWKV-6-WORLDというモ…
ollamaでmistral-nemoが動くようになったらしいので、お試し。デフォルトだとあまりよろしくなかったので、temperature 0.3の設定を別途入れました。英語になる場面もありましたが、こんな小さなモデルでしっかり答えてくれます。計算もまずまずですし、使い…
サイバーエージェント社が発表した商用可能なLLMモデル。 www.cyberagent.co.jp GGUFモデルが早速上がっていますが、まだ十分ではないということ。llama.cppの問題の様ですが、それでも回答はできるようなので、強行してみます。 huggingface.co まどか☆マギ…
Llama3-ArrowSE-8B-v0.3をollamaとcolabでためします。期待もあります。さっそく、mmngaさんが、あっという間にgguf版をアップロードしていらっしゃいますので、ありがたく利用します。Q5_K_Mです。 huggingface.co まずは「まどか☆マギカ」ベンチ。 まどか☆…
「Web小説コーパスでNinja-V2にファインチューニングを行った、新しい小説生成特化型AI」という、Kagemusyaをためします。 huggingface.co お約束で二番目に高い山を聞いてみます。 日本で二番目に高い山を検討して答えてください。 「富士山」正解は「富士…
ELYZAから日本語で鍛えたllama-3ベースのELYZA-JP-8B-q4_k_mが発表された。8BモデルはGPT-3.5-turbo並みを達成しているという。さっそく、ためしてみます。colabで簡単なチャットもやってみました。 huggingface.co 日本で二番目に高い山を検討して答えてく…
GoogleさんのGemma2を試して見ます。当初、ollamaでうまく動かなかったんですが、おおよそFixされたようです。万全かはわかりませんが、それも調整されるでしょう。 huggingface.co 手始めに・・・。 日本で二番目に高い山を検討して答えてください。 日本で…
DeepSeek-Coder-V2はMoEのコードモデル。その性能はGPT4-Turboに並ぶとのこと。ollamaでためせるようなので、試して見ました。 試した感想。 ・自然な日本語で回答する。 ・基本的な要約タスクや質問には答える。質問の回答は間違いも多い。 ・計算タスクは…
ローカルLLMに向き合う会で企画されたGPUサーバリソースを利用して作成されたモデル。期待大なので、まずは動かしてみます。 Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメ…
なんだか、よさそうなので、oumuamua-v2をためしてみます。ollamaやlangchain、最後にチャット形式で遊んるのをメンドイので一つのcolabの入れ込みました。 huggingface.co ollama.com まどか☆マギカで一番かわいいのは？ 「まどか☆マギカ」に登場するキャラ…
