Colaboratory
地味なところを攻めている印象のIBM。granite-4.0-h-smallのGUFFをお試ししてみます。ColabのL4環境で実行しました。VRAM占有率は19443MiB / 23034MiBでした。 huggingface.co すっかり進歩したSLMの中で、32Bの多言語対応モデルとして突出した印象はありま…
Googleから公開されたGemma3 270M。FineTuringの方法も記載されています。そちらを利用してColabのL4環境で（雑な）自作データで学習をさせます。databricks-dolly-15kをローカルLLMでギャル語風に変換したデータです。 1h20mの学習時間でそれらしい出力が得…
帰ってきたので、お試ししたかったqwen3:30b-a3b-instruct-2507-q4_K_Mを試してみます。モデルはollama公式に上がっているものを利用します。ColabのL4環境でためします。VRAM占有率は 18595MiB / 23034MiBでした。 期待通りの性能でq4_K_Mでもいい感じです…
gemma3n:e4bを試してみます。端末で動作させる前提なので、PCでもきっと活躍してくれるはずです。モデルはollamaの公式のものです。ColabのL4環境でお試しします。VRAM占有率は 7789MiB / 23034MiBなので、T4でも動作は出来ると思います。 知識は豊富とは言…
BERTが軽量モデルという位置づけになったのは、いつからだろうか。GPU性能の向上で軽量で分類や固有表現抽出を高速に低リソースで実施できるようになりました。今更・・・と思われるかもしれませんが、後で試したいことがあるので、素振りです。 ModernBERT…
Llama 3.1 8Bをベースにして日本語強化のバージョン強化をしたLlama-3.1-Swallow-8B-Instruct-v0.5が公開されていました。Swallowとは言え、8Bモデルです。ここまで小さいモデルでしかも量子化モデル。mmngaさん作のGUFFを利用します。ColabのL4環境で試しま…
Mistal-Small-3.2-24Bの2506バージョンを試してみます。2503バージョンよりも改善しているとのことです。2503は他の同クラスのものと比較して日本語で見る限りは見劣りをしていました。2506でどうか・・・気になります。ColabのL4環境で実行します。VRAM占有…
Mistral AIの小型モデルをollamaで試してみます。ColabのL4環境で試します。VRAM占有率は15525MiB / 23034MiBでした。 日本語の出力もしっかりです。英語が混じりになることもわずかにありますが、GUFFファイル作成時に日本語チューニングがしっかりすれば減…
Qwen3ベースのEZO-8Bベータ版を試してみます。mmngaさんがGGUFに変換したモデルを利用してcolab L4環境で動作させました。 VRAM占有率は6545MiB / 23034MiBでした。これまでもEZOモデルはいい感じでベースモデルから性能を上げています。今回は、8Bでも高い…
v1.0となったABEJA-Qwen2.5-32b-Japanese。v0.1の頃もいい感じだったので、期待してお試しします。mmngaさんの手によってGGUFとしたモデルを利用し、Colab L4環境でお試しします。21673MiB / 23034MiBのVRAM占有率でした。 32Bの量子化モデルであれば、実用…
引き続き、RAG実装で遊んでみます。AgenticRagをChatGPTに読ませて骨子を確認したら、『「Retrieval → Evaluation → Query Refinement → 再検索 → Response Synthesis」という順序が、まさに論文中の処理パイプラインそのものになっています。各フェーズの出…
Swallowの新しいモデルが公開されましたので、早速試してみます。mmngaさんがGUFFに変換したモデルを利用します。ColabのL4環境を利用します。VRAM占有率は19773MiB / 23034MiBでした。 日本語は、さすがに自然です。比較的簡潔な文章を生成していました。基…
軽量モデルのgranite3.3が公開されてました。本家IBMから提供されているGGUFをColabとollamaの組み合わせでお試ししてみます。Colab L4環境でお試しします。VRAM占有率は 6931MiB / 23034MiB(Q4_K_M)でした。やはり小さい・・・。日本語もサポートされたとい…
phi4-reasoning:plusをColab L4環境で試してみました。生成させてみると、とにかく、推論が長い。読むだけでも一苦労です。収納されている知識が中途半端であっても、なんとか答えを正解に近い方に出してきます。長い推論を読んでいると、どういう情報を与え…
ELYZA-Thinking-1.0-Qwen-32B-ggufは、ELYZA社によって訓練された推論モデルです。このモデルは Qwen/Qwen2.5-32B-Instruct がベースですので、能力は期待できます。こちらをmmngaさんによってGGUF化したものを利用します。Colab L4環境でVRAM占有率は 21591…
Qwen3が発表されました。公開されたモデルもありますのでColab L4環境で試してみます。VRAMの占有率は、Qwen3:32b: 20055MiB / 23034MiB、Qwen3:30b-a3b: 19209MiB / 23034MiBでした。 qwenlm.github.io 結果 推論ありモードでは、ざっくりQwen3:32bに対して…
NER（固有名詞抽出）に再び挑戦します。ruri-v3-pt-310m/ruri-v3-310mをStockmark作WikipediaのNER向けdatasetを使って学習させてみます。このモデルでは分かち書きが不要です。しかしながら、学習済みSentencePieceのtokenizerによるトークンとNERの文字単…
多言語コード検索タスクのSentence Transformerモデルである、CodeSearch-ModernBERT-Crow-Plusを試してみます。 huggingface.co 類似コードのデータセットを使ってテストしました。 dataset = [ { "code": """def add(a, b): return a + b""", "comment": "…
これまでClineやCopilotなどを使って、LLMを使ったコーディングを試していました。そこで、日曜プログラム的立場で試してみようと、streamlitを使ったアプリケーションを作ってみたので、メモします。かかった時間は、動画見ながら４時間くらい。Debugや試行…
ollama公式モデルにgemma3:27b-it-qatが加わりました。gemma3は、日本語も強いので早速試します。Colab L4環境で試します。VRAMの占有率は18507MiB / 23034MiBでした。このモデルは「Quantization aware trained models (QAT)The quantization aware trained…
GPT-4oを上回る性能という「ABEJA-QwQ32b-Reasoning-Japanese-v1.0」のGGUF版を試してみます。GUFFはmmngaさん作成のものを利用します。ColabはL4環境でVRAM占有率は21591MiB / 23034MiB でした。「強制的に思考過程を経るために <think>\n の後から出力を開始して</think>…
Microsoftは、BitNetを続けていたんだとびっくりしました。モデルが公開されていましたので、ColabのNo GPU環境で挑戦しました。懐かしい感じもする生成状況でした。そもそも2Bなので過大な期待はできませんが、日本語も学習しているようでした。実用になる…
AXCXEPTさんがのEZOモデルは感じよく性能がアップしています。今回はGemma3-12bベースのモデルを公開されたものを、mmngaさんがGGUF化されたモデルをお試しします。ColabのL4環境で試しました。VRAM占有率は9301MiB / 23034MiBでした。T4環境でも十分テスト…
Ruriで8k tokensを処理できるRuri-v3が出たので、楽しみに基本的なところを試します。とりあえず、Colab T4環境で、素振りをやってみました。さくっと利用できそうな感触です。明日から本格的に使ってみます。 huggingface.co まずは、基本的なベクトル計算…
UnslothによるColab notebookをベースに以前作った日本語gal語データセットでファインチューニングしてみます。27BモデルをColabでファインチューニングできるのか、試してみたかったので、4bit量子化27Bモデル‘unsloth/gemma-3-27b-it-unsloth-bnb-4bit‘を…
独自の「ハイブリッド推論」と「Iterated Distillation and Amplification (IDA)」で構築したcogito-v1-preview-qwen-32Bをmmngaさんによりgguf化したモデル（K_M)をColab L4環境で試してみます。標準モードと推論モードがあり、切り替えて使えるモデルです…
7Bのdiffusion large language modelをcolabで試します。ColabのL4版で 18379MiB / 23034MiB のVRAM占有率でした。Githubに掲載されていたコードを利用しました。 生成文章もしっかりできているようです。内容もいい意味で面白かったです。計算もしっかりで…
AItuberの魂を狙ったモデルである、ArrowNeo-AME-3x4B-v0.1-MoE(GGUF K_M)を試してみます。sarashinaベースでもあり軽さと日本語に期待しつつ試してみます。ColabのL4環境で試しました。VRAM占有率は 5773MiB / 23034MiBでした。 生成されたテキストは自然さ…
表形式が混在したPDFをMarkdown形式へと変換にトライしたのでメモです。前提としてはすでにPDFにテキストが埋め込まれているものを対象とします。拾い物のPDFでお試ししたので変換後の結果は割愛しています。問題のないPDFで試したら追記したいと思います。M…
コード検索やコード理解を目的とした事前学習済みモデルをXで見かけたので試してみました。こういう特化型モデルは興味深いです。いろいろと作って使えるときっと楽しいでしょう。モデル有難く動かしてみました。 企業の文章だと似たような文章ばかりのもの…
