地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

トップ > LLM

LLM

gemma-3-270m-itをColabでfull_finetune #2

LLM Colab Python 自然言語処理

gemma-3-270m-itはコンパクトで、Googleさんからもfull_finetuneするコードが公開されています。〇〇風なチューニングではなく、QAセットで情報追加にチャレンジしてみます。ベースはGoogleさんが提供したColabノートを利用します。ColabのL4環境で実行しま…

gemma-3-270m-itを自作データでColabでファインチューニングしてみる。

LLM Colaboratory Python 自然言語処理

Googleから公開されたGemma3 270M。FineTuringの方法も記載されています。そちらを利用してColabのL4環境で（雑な）自作データで学習をさせます。databricks-dolly-15kをローカルLLMでギャル語風に変換したデータです。 1h20mの学習時間でそれらしい出力が得…

#LLM #Gemma

Sarashina-embedding-v2-1Bで類似検索をColabで試してみる

Colab LLM Python 自然言語処理

「日本語に特化した指示を付与できるテキスト埋め込みモデル」として、Sarashina-embedding-v2-1Bが公開されました。さっそく、Retrival用途で簡単に実装してみてお試ししてみます。ColabのL4環境でお試ししました。 huggingface.co このモデルでは、queryだ…

#LLM #sarashina

メモ：いろんなRAGを試せるようにしてみる。

LLM RAG Python

目先を変えて色んなRAG方式による回答を試したいので、RAGお試しを作ってみることにしました。汎用的ではありませんが、新しい論文がでたらGemini CLIあたりを使って、追加実装できるような程度に設計用のドキュメントを用意して実装してみました。basicなRA…

#LLM #RAG

gemma3(270M)をollamaとColabでためしてみる。

LLM Colab Python 自然言語処理

小型LLMの中でも、Googleのgemma3の超小型のLLMモデルを試します。ColabのT4環境です。ollama公式のgemma3:270mとUnsloth: 270m-itをColabのT4環境で試してみます。 日本語のチューニングもされてないので、日本語怪しいかも・・・と思ったのですが、日本語…

#LLM

OpenAI GPT-OSS 20Bをunslothを使ってColabでファインチューニングしてみる。

LLM Colab Python 自然言語処理

OpenAI GPT-OSS 20Bをunslothを使ってColabでファインチューニングに挑戦します。難しいチューニングは破綻の元なので、言葉じりを変える程度のチューニングを実施します。unslthの公式Colabを参考にして進めます。ColabのL4環境で実施します。 データセット…

#LLM #unsloth #gptoss

簡単なFastAPIを利用したMCP RAG Serverを作成してみる。

LLM MCP Python RAG 自然言語処理

Model Context Protocol (MCP)に準拠したRAG（Retrieval-Augmented Generation）機能を持つMCPサーバを機能を絞って簡単なものを作ってみます。ローカルで運用するのではなく、別サーバーで運用できるようにします。 ここのところお気に入りのjules君と作業…

#自然言語処理 #MCP

Colabとollamaでlangextractをためしてみます。

LLM Colab Python 自然言語処理

GoogleがOSSとして発表したlangextract。非構造化なテキストから構造化情報を得ることができます。structured outputとかでうまく収得することもできるので、敢えて必要なのかな・・・と思いつつ試してみました。Colabで試してみます。LLMは「Qwen3-4B-Instr…

#LLM #langextract

gpt-oss:20bをollamaとColabで試してみる。

LLM Colab Python 自然言語処理

OpenAIのSLMであるgpt-oss:20bをColabのL4環境で試してみます。VRAM占有率は15207MiB / 23034MiB です。モデルはollama公式で提供されているgpt-oss-20bを利用します。楽しみです。 今の時点では、このサイズ感でタスクに使いやすいのはQwenのモデルかも・・…

#LLM #自然言語 #gpt-oss

qwen3:30b-a3b-instruct-2507-q4_K_MをColabとollamaでためしてみる。

LLM Colaboratory Python 自然言語処理

帰ってきたので、お試ししたかったqwen3:30b-a3b-instruct-2507-q4_K_Mを試してみます。モデルはollama公式に上がっているものを利用します。ColabのL4環境でためします。VRAM占有率は 18595MiB / 23034MiBでした。 期待通りの性能でq4_K_Mでもいい感じです…

#LLM #ollama

基本的なテキスト解析を振り返りつつ、LLMの解析を組み入れてみる。

Python LLM 自然言語処理 お勉強

LLMになんでも頼りがちですが、基本的な言語解析はざっくり把握には大切です。数的なボリューム感を把握しておくというのは大事です。そこで、nlplot をよく利用させていただいていました。また、センチメント解析や分類タスクもLLMでは定番です。ローカルLL…

メモ：Google julesのお題としてRAG戦略のテストができるものを作ってみた。

Python RAG LLM 自然言語処理 お勉強

julesはGoogleのAIエージェントです。ベータテスト中のため、ごりごりお試しできそうだったので、RAGのお試し環境を構築してみます。 以下の様な機能を持つようなお試し環境をかんがえました。 0. 簡単なUIでRAGをお試しできる。 1. User管理ができ、User別…

#LLM #RAG

gemma3n:e4bをollamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

gemma3n:e4bを試してみます。端末で動作させる前提なので、PCでもきっと活躍してくれるはずです。モデルはollamaの公式のものです。ColabのL4環境でお試しします。VRAM占有率は 7789MiB / 23034MiBなので、T4でも動作は出来ると思います。 知識は豊富とは言…

#LLM

mmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-ggufをollamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

Llama 3.1 8Bをベースにして日本語強化のバージョン強化をしたLlama-3.1-Swallow-8B-Instruct-v0.5が公開されていました。Swallowとは言え、8Bモデルです。ここまで小さいモデルでしかも量子化モデル。mmngaさん作のGUFFを利用します。ColabのL4環境で試しま…

#LLM

unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUFをColabとollamaで試してみる

LLM Python Colaboratory 自然言語処理

Mistal-Small-3.2-24Bの2506バージョンを試してみます。2503バージョンよりも改善しているとのことです。2503は他の同クラスのものと比較して日本語で見る限りは見劣りをしていました。2506でどうか・・・気になります。ColabのL4環境で実行します。VRAM占有…

#LLM

メモ：論文を見ながらRAGを実装してみる。RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning

RAG LLM 自然言語処理 Python

RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoningという手法の論文が発表されていましたので試してみます。とにかく、動くところまで実装してみます。この方法のポイントは、RAGとして与えるコンテキストを、KnowledgeとAp…

#RAG #LLM

メモ：RAGのハイブリッド検索を構築してみる

LLM RAG Python 自然言語処理

RAGのハイブリット検索を試してみます。ハイブリットということで複数の検索方法で検索した結果をRAGで利用するというものです。Langchainでは、multiple retrieversとして、EmsambleRetrieverを使った実装が紹介されています。 python.langchain.com ベクト…

#LLM

bartowski/mistralai_Magistral-Small-2506-GGUFをollamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

Mistral AIの小型モデルをollamaで試してみます。ColabのL4環境で試します。VRAM占有率は15525MiB / 23034MiBでした。 日本語の出力もしっかりです。英語が混じりになることもわずかにありますが、GUFFファイル作成時に日本語チューニングがしっかりすれば減…

#自然言語処理 #LLM

mmnga/Qwen3-EZO-8B-beta-ggufをColabとollamaでためしてみる。

LLM Colaboratory Python 自然言語処理

Qwen3ベースのEZO-8Bベータ版を試してみます。mmngaさんがGGUFに変換したモデルを利用してcolab L4環境で動作させました。 VRAM占有率は6545MiB / 23034MiBでした。これまでもEZOモデルはいい感じでベースモデルから性能を上げています。今回は、8Bでも高い…

#自然言語処理 #LLM

ABEJA-Qwen2.5-32b-Japanese-v1.0をollamaとColabで試す。

LLM Colaboratory 自然言語処理

v1.0となったABEJA-Qwen2.5-32b-Japanese。v0.1の頃もいい感じだったので、期待してお試しします。mmngaさんの手によってGGUFとしたモデルを利用し、Colab L4環境でお試しします。21673MiB / 23034MiBのVRAM占有率でした。 32Bの量子化モデルであれば、実用…

#自然言語処理 #LLM

メモ：RAGを実装してみる。理解、分解、再構築。

LLM Python RAG 自然言語処理

これまで、論文をヒントに幾つかのRAGを作成しました。折角なので、それらの機能を分解し、それぞれの機能を組み合わせてみます。今回もローカルLLMで挑戦です。ollamaで動作させたgemma3:4b-it-qatを利用します。4Bクラスとしては高い性能を有していますが…

#自然言語処理 #LLM #RAG

メモ：Rag実装してみる。AgentRagだったんだけど・・・。

LLM Colaboratory Python RAG 自然言語処理

引き続き、RAG実装で遊んでみます。AgenticRagをChatGPTに読ませて骨子を確認したら、『「Retrieval → Evaluation → Query Refinement → 再検索 → Response Synthesis」という順序が、まさに論文中の処理パイプラインそのものになっています。各フェーズの出…

#LLM

mmnga/Gemma-2-Llama-Swallow-27b-it-v0.1-ggufをColabとollamaで試す。

LLM Python Colaboratory 自然言語処理

Swallowの新しいモデルが公開されましたので、早速試してみます。mmngaさんがGUFFに変換したモデルを利用します。ColabのL4環境を利用します。VRAM占有率は19773MiB / 23034MiBでした。 日本語は、さすがに自然です。比較的簡潔な文章を生成していました。基…

#LLM

メモ：論文見ながらRAG実装をしてみる。Muti-Round Agent RAG編

Python LLM 自然言語処理 お勉強

勉強にとRAG実装を味見できるようにしたので、続けてトライします。LLMにはollamaを介してgemma3:4b-it-qatを利用します。このまま、GPT-4.1使っても動作するように準備しています。ローカルLLMの方で気楽に挑戦します。 今回はこの論文を参考にRAGを作って…

#LLM #RAG

メモ：論文を見ながらRAGを実装してみる。

LLM Python 自然言語処理 RAG

LLMを使ったプログラムはすっかり普通になりました。ローカルLLMでも、利用しやすいものも出てきて気軽に利用できます。一方で、RAGは様々な方法が提案がされています。読んだだけで、さくっと実装できて、利用できそうなコードなのかという感触は早めに得た…

#LLM

ibm-granite/granite-3.3-8b-instruct-GGUFをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

軽量モデルのgranite3.3が公開されてました。本家IBMから提供されているGGUFをColabとollamaの組み合わせでお試ししてみます。Colab L4環境でお試しします。VRAM占有率は 6931MiB / 23034MiB(Q4_K_M)でした。やはり小さい・・・。日本語もサポートされたとい…

#自然言語処理 #LLM

phi4-reasoning:plusをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

phi4-reasoning:plusをColab L4環境で試してみました。生成させてみると、とにかく、推論が長い。読むだけでも一苦労です。収納されている知識が中途半端であっても、なんとか答えを正解に近い方に出してきます。長い推論を読んでいると、どういう情報を与え…

#自然言語処理 #LLM

mmnga/ELYZA-Thinking-1.0-Qwen-32B-ggufをOllamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

ELYZA-Thinking-1.0-Qwen-32B-ggufは、ELYZA社によって訓練された推論モデルです。このモデルは Qwen/Qwen2.5-32B-Instruct がベースですので、能力は期待できます。こちらをmmngaさんによってGGUF化したものを利用します。Colab L4環境でVRAM占有率は 21591…

#自然言語処理 #LLM #Ollama

qwen3:32bとqwen3:30b-a3bをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

Qwen3が発表されました。公開されたモデルもありますのでColab L4環境で試してみます。VRAMの占有率は、Qwen3:32b: 20055MiB / 23034MiB、Qwen3:30b-a3b: 19209MiB / 23034MiBでした。 qwenlm.github.io 結果 推論ありモードでは、ざっくりQwen3:32bに対して…

#自然言語処理 #LLM #Qwen3

ruri-v3-pt-310m/ruri-v3-310mでNERをやってみる

LLM BERT Colaboratory Python 自然言語処理

NER（固有名詞抽出）に再び挑戦します。ruri-v3-pt-310m/ruri-v3-310mをStockmark作WikipediaのNER向けdatasetを使って学習させてみます。このモデルでは分かち書きが不要です。しかしながら、学習済みSentencePieceのtokenizerによるトークンとNERの文字単…

#ModernBERT #自然言語処理 #RuriV3