llama3.2-vision:11bを試してみます。ColabのL4環境です。動作時、VRAM占有割合は11865MiB / 23034MiBでした。このモデルでは、分かりやすい風景や人物の状況は読みとれている回答が生成されました。日本語で質問も英語が混在することありません。意地悪な質…
ArXivで論文を検索して、ざっくりアブストラクトから論文の動向の情報を得て、NotebookLMに投入するところまで作りました。Podcast機能が面白かったので、NotebookLMに投入して調整しなくても、自分の好きな感じでPodcastに出来るようにしました。もちろん、…
先日、副産物で得られた論文のアブスト集をNotebookLMに入れてみたら快適でした。もともとデータセット作成のテストだった*1のですが、使えそうなのでそこだけ切り出します。今回の手順は、 ArXivから任意のキーワードで検索しアブストを入手する。 50000文…
imatrix datasetを使って日本語能力を重視したGGUF変換バージョンのaya-expanse-8b-ggufを試してみます。aya-expanse-8bは、8Bレベルの多言語対応モデルとして高い性能を持ちます。極簡単なテストでの印象では、Q4_K_Mでの量子化を感じさせないモデルでロー…
aya-expanse 8Bと32Bをollamaでためします。評判もよいので期待しつつ。 このモデルはわりと饒舌なモデルで比較的長めの文章を生成していました。ただ、まとめに関しては、極端に短くなるものもあり、指示次第なのかもしれません。8Bでも自然な文章を生成し…
ローカルLLMの性能が上がってくると、今まで課金が怖くてできなかったこともやっちゃえと思い切ってできるようになってきました。そこで、ある分野の論文の概要をArXivを利用して入手し、RAG用データセットへの加工もトライしてみました。 bwgift.hatenadiar…
aya-expanse-8bを4bit量子化してColabT4環境で試しました。CC-BY-NC 4.0 Licenseです。量子化しても日本語も大きな問題はありませんでしたが、日本の知識は限度がありそうです。計算もそつなくこなし、さすがCohere社のモデルです。進歩するOSSモデルの中で…
colab（T4)上でollamaを用いて、IBMのgranite3のMoEバージョンを試します。オリジナルそのままのモデルではありませんが、応答速度の感触も見るためにセルの実行速度レベルで雑に比較しました。denseより結構早いんじゃないかと期待したのですが、ollamaでは…
IBM発のLLMであるgranite-3.0が更新されていたので、ためしてみます。RAGやコード生成などのタスク向けとのこと。多言語に対応しているようで日本語も入っていました。さっそく試します。当初はモデルカードに書いてあったサンプルで動作させて試していたの…
ChatGPTが現れた当初、自立型エージェントとしてBabyAGIはインパクトがありました。シンプルな自己構築型エージェントとして「BabyAGI 2o - the simplest self-building autonomous agent.」が公開されていました。簡単なコードで実現されていて勉強にもなり…
1-bit LLMsで話題になったBitNet。microsoftがフレームワークを公開したので、お試しします。話題になっていますが、自分で試すの精神で、ColabのCPUのみで動かしますが、最小構成だとRAMが足りなかったので、RAM増量(51.0 GB)モードとしました。 ライブラリ…
1-bit LLMsで話題になったBitNet。microsoftがフレームワークを公開したので、お試しします。話題になっていますが、自分で試すの精神で、ColabのCPUのみで動かしますが、最小構成だとRAMが足りなかったので、RAM増量(51.0 GB)モードとしました。 ライブラリ…
NVIDIAから発表されたLlama-3.1-Nemotron-70B-Instruct-HFをGGUFモデル(Q4_K_M)でお試しします。Colab A100環境（ 39521MiB / 40960MiB）です。さすがの70Bです。受け答えは良好です。A100でも、このサイズです。回答まで少し時間がかかりました。 build.nvi…
faster-whisperは、CTranslate2を使った高速な文字おこしが可能です。whisper-large-v3-turboを使えないかと思って、挑戦したのでメモ。 変換されたモデルをhuginggaceから有難くダウンロードして指定するだけです。Colabで試したところ、実行速度は、open-w…
gemma-2-9b-it-SimPO-GGUF(Q5_K_M)を試してみます。Gemma 2 9BのSimPO強化版モデルとのことです。Llama3-Instruct-8B-SimPO-v0.2は、Claude 3 Opusを凌ぐ性能*1もあるというといいます。評価はgemma-2-9b-it*2も高性能です。GGUFはimatrix datasetで日本語を…
Dify Community Editionはセルフホスティングが可能で個人でも楽しく利用できます。とても有難いです。一時期、Difyで日本語文書のRAG関連が工夫してもうまくいかなくて悩んでいましたが、どんどんバージョンが上がって良くなってきているように感じています…
Whisperをブラウザ上で使えるwhisper-webをお試ししたくて、dockerで構築しました。利用するときには、デフォルトが日本語じゃないし、設定が分かりにくいかもしれません。現在のところ、whisper-large v3 turboを利用するためにはWebGPU版の実験ブランチ版…
gemma-2-2b-jpn-itを翻訳タスクにチューニングしたローカルモデルが公開されていましたので、早速使ってみます。— 七誌 (@7shi)さんの手でollamaのmodelにアップロードされているいものがありました。感謝しつつollamaで利用します。軽量ローカルLLMで気軽に…
論文からローカルLLMを使ってデータセット作成をちまちまと続けています。ローカルLLMだと平気でダブルクォートが欠落したたりするのは良い方で、予想もしない出力をしてくれやがります。前処理・後処理は勉強になります。論文や技術文書が本命なのですが、…
Llama-3.1-Swallow-8Bが公開されてたので試しました。楽しみです。 swallow-llm.github.io すっきりとした冗長の感じもない文章を生成しました。日本で二番目に高い山は不正解でしたが、計算は正解です。指示の効き具合も改善されたとのことでしたので、lang…
Cyveragent社のMistral-Nemo-Japanese-Instruct-2408が、なかなか強いということなので試してみました。ollamaで使えるようにLucas(@LucasChatGPT)さんが変換されていたので、ありがたく使います。環境はColab L4環境です。VRAMは 13935MiB / 23034MiBの占有…
gemma2-2b-jpn、日本語軽量モデルが登場。LLM-jpからも日本語が得意な軽量モデルが登場。楽しみになってきました。素人が少ないリソースで、独自データセットでファインチューニングすることもできるようになってきました。 引き続き、以前の挑戦に再トライ…
rinnaからもGemma2 2Bのチューニングが出ていました。本家も試したので、こちらも自分で試します。@alfredplplさんが、さっそくgguf版を出していただいているのでありがたく使います。 rinnaはGemma 2 2Bの日本語継続事前学習モデルと指示学習モデルからなる…
gemma-2-2b-jpnが公開されました。すでに多くの方が味見していますが、やっぱり自分でも試してみないことには、はじまりません。 blog.google あっという間にOllamaでも動かせるものがアップロードされていました。早すぎます。感謝です。こちらを利用します…
OpenAI社から新機能が出てきている昨今ですが、文字おこしを気軽にやれるwhipserは重宝していました。日本語だとv2のほうが精度はあったような印象でしたが、チューニングと、デコーダーレイヤーを少なくして速度向上したv3のturboバージョンが出たので試し…
llm-jp/llm-jp-3-3.7b-instructとしたチューニングを施したllm-jp-3-3.7b-instruct-EZO-Humanitiesを試してみました。ColabのT4環境でVRAMぎりぎりで動作しました。日本語や日本関係の基礎知識は3.7bと思えないほどありそうな印象でした。ながながと文章を生…
あるふ(@alfredplpl)さんが、早速、量子化バージョンを作成しアップロードされていたので、ありがたくお試しします。1.8Bです。せっかくなので、ローカルランタイムに接続して走らせてみました。RTX 3060(12GB)で、VRAMの占有も小さく(3767MiB)、コンパクト…
Llama-3.2が発表されました。LLMLlama-3.2-1B-Instructは小型のモデルでローカルで気軽に動作できそうです。ファインチューニングして遊んでみます。本格的なチューニングは専門家にお任せするとして、どんな感じなんだろう・・・と動かすのが狙いです。ロー…
1.8Bでもなかなか良いのではないかと評判のLLM-jpをColabでチャレンジしました。浅い学習レベルですが、ファインチューニングして使ってみましたのでメモします。 llmc.nii.ac.jp ファインチューニングのパラメータは、特に最適化なぞ考えず、決め打ちです。…
ローカルLLMだといろんなモデルを同時に動かすのは大変だ。最近、（いまさら）LoRAで遊んでいたので、LoRAのモデルを切り替えることで複数のモデルを使い分ければ、プロンプトだけで悩まずに利用の幅が広がる。また、ゲームのNPCなんかだったら、いろんなキ…
