地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

Colaboratory

mmnga/qwen2.5-bakeneko-32b-instruct-v2-ggufをollamaとcolabで試してみる。

LLM Colaboratory Python 自然言語処理

Rinna社のqwen2.5-bakeneko-32b-instruct-v2-ggufをmmngaさんのGUFFバージョンで試してみます。実力が発揮されると嬉しいなと思いつつ・・・。Colab L4環境で試してみます。VRAM占有率は20475MiB / 23034MiB でした。知識は多少微妙な感じもします。langcha…

#自然言語処理 #LLM

rinna/qwen2.5-bakeneko-32b-instruct-v2-ggufをollamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

非思考モデル「Qwen2.5 Bakeneko 32B Instruct V2」がRinna社より公開されてました。推論モデルでない方が使いやすいかもと思いつつ、試してみます。Colab L4環境でVRAM占有率は、14577MiB / 23034MiBでした。日本の知識は微妙な感じでしたが、参照テキスト…

#自然言語処理 #LLM

メモ：cl-nagoya/ruri-large-v2をlangchainでembeddingとして使う。

LLM Colaboratory Python 自然言語処理

LangchainでEmbeddingsとして、ruri-large-v2を利用するメモ。Prefixをつけてqueryとdocumentを使うだけです。 huggingface.co LangchainのEmbeddingsを利用してPrefixEmbeddingsを定義。 from langchain_core.embeddings import Embeddingsclass PrefixEmbe…

#自然言語処理 #embeddings

rinna/qwq-bakeneko-32b-ggufをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

RINNA社からQWQ-32Bベースのモデルがでました。日本語で使いやすくなっているのを期待しつつ試してみます。Colab L4環境で試します。 VRAM占有率は14577MiB / 23034MiB でした。推論もしっかり日本語で実施します。日本語も生成されたテキストに含まれる漢…

#自然言語処理 #LLM

Gemma3はSuper Marioの夢を見れるか。

LLM Colaboratory Python 画像認識自然言語処理

Gemma3のVisionも試してみます。どこまでマリオのシチュエーションを理解してくれるのでしょうか。kun4232さんの記事を参考にgemma3-4b-itモデルをColab L4環境で試してみます。大まかな状況は説明ができていますが、敵の数や土管の位置関係は分かっている…

#自然言語処理 #LLM

ggml-org/gemma-3-27b-it-GGUFをollamaとColabで動かしてみる。

LLM Colaboratory Python 自然言語処理

さらっとgemma-3が公開されていましたので、早速試してみます。ColabのL4環境で、27Bモデルを試します。VRAM占有率は 17335MiB / 23034MiB です。現時点でollamaでも動かせます。再現性ありませんでしたが、エラーが出る時がありました。次のリリースで完全…

#自然言語処理 #LLM

mmnga/tokyotech-llm-Llama-3.3-Swallow-70B-Instruct-v0.4-ggufをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

Llama 3.3 Swallow はLlama3.3ベースの70B日本語拡張モデルです。ベンチマークの性能を見ると高い性能を有しています。楽しみです。mmngaさんが作成したGGUFを利用します。Colab A100環境で試してみます。VRAM占有率は39425MiB / 40960MiBでした。生成する…

#自然言語処理 #LLM

日本語ModernBERTのFT版、AMBERをLangchainでembeddingとしてColabで使ってみる。

LLM Colaboratory BERT Python 自然言語処理

SB Insituionsさんの日本語ModernBERTをFinetuningしたtext embedding modelである、AMBERをlanchainで利用してみます。Retrievalのベンチマーク成績も高く、今後利用してみたいので、基本的な部分を勉強のため実装してみます。日本語の環境がだんだん整って…

#自然言語処理 #LLM

QwQ-32B-ggufをColabとollamaで動かしてみる。

Python Colaboratory 機械学習

QwQ-32Bは、DeepSeek-R1と同等の性能を持つとされているモデルです。mmngaさんによるGGUFへ変換したモデルをColabとOllamaを使って試してみます。Colab L4環境で実行しました。VRAM占有率は 21591MiB / 23034MiBでした。最終回答は日本語で行うようにプロン…

#自然言語処理 #LLM

Stockmark-2-100B-Instruct-beta-ggufをColabとOllamaでためしてみる。

Python Colaboratory 自然言語処理

Stockmark-2-100B-Instruct-betaは100Bのパラメータを持つ、Stockmark社による日本の・英語モデルです。GGUF化されたモデルが早くも公開されていますので、試してみます。まだ、途中段階のモデルということですが、100Bクラスということで期待してしまいます…

#自然言語処理 #LLM

phi4-miniをOllamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

phi4-miniはMicrosoftが発表した小型で優秀なモデルです。ollamaを使ってColab T4環境で試してみます。VRAM占有率は 4002MiB / 15360MiBです。 3.8Bと小型のモデルです。最近はSLMといいつつ32Bくらいある中、頼もしい？存在です。知識量はありませんが、日…

#自然言語処理 #LLM

Colabのエージェントモードを使って三国志を分析してみる。

LLM Colaboratory Python 自然言語処理

Colabにデータファイルから分析する機能が追加されました。さっそく、吉川英治の三国志（青空文庫）を分析させます。利用するテキストデータは、予め青空文庫からデータをプレーンテキストにパースしておきます。文字数は1,625,493文字となり、量はあります…

メモ：modernBERT（日本語）でNER

Python Colaboratory BERT 自然言語処理

bwgift.hatenadiary.jp これまでmodernBERTをNERで活用したいと進めてきました。Huggingfaceへのuploadもbestではなくlast modelをuploadですませたりと雑にやってました。区切りが悪いので補足します。 Best modelを最後にload load_best_model_at_end=True…

#自然言語処理 #LLM #modernBERT

mmnga/deepseek-r1-distill-qwen2.5-bakeneko-32b-ggufをColabとollamaで試してみる。

LLM Colaboratory 自然言語処理

mmngaさん作成のdeepseek-r1-distill-qwen2.5-bakeneko-32b-ggufを試してみます。rinna社変換バージョンではちょっと不自然な生成もありましたが良質なgguf変換モデルをいつも提供されるので期待しつつ試してみます。Colab L4環境でお試しします。VRAM占有率…

#自然言語処理 #LLM

Tokenizerを見直してmodernBERTでNERをColabでためしてみる。

LLM Colaboratory BERT Python 自然言語処理

KoichiYasuokaさんからHatena Blogにコメントを頂きました。tokenizerに工夫をしては？というものでした。「日本の首相」が「日本の首相」に分かち書きされています。これでは「日本」を取り出せない。つまり、今まで：日本の首相改善：日本の首相と…

#自然言語処理 #LLM #modernBERT

最後に日本語ModernBERTでColabでNERしてhuggingfaceにuploadしてみる。

LLM BERT Colaboratory 自然言語処理

日本語ModernBERTで10epochsくらい学習させて止まってたので、50epochsまで学習させたモデルを作成しました。Huggingfaceにモデルをアップロードにもチャレンジしてみました。Colab T4環境です。回しっぱなしで、お仕事終わってふとみると早々にlossが下がっ…

#自然言語処理 #LLM #modernBERT

参考のためにbert-base-japanese-v3で固有表現抽出をColabで試してみる。

LLM BERT Colaboratory Python 自然言語処理

ModernBERTによる固有表現抽出を試してみて気になったのでBERT-base-japanese-v3でも試してみます。同じように10epochs学習させてみました。Tokenizer部分などなど必要な部分を変更しますが、学習データやハイパラはそのままです。ざっくりです。学習は無事…

#自然言語処理 #LLM #BERT

grapevine-AI/phi-4-ggufをollamaとColabとでためしてみる。

LLM Colaboratory Python 自然言語処理

phi-4はトークナイザ不具合があったようです。その訂正版をgguf化されたものが公開されました。楽しみに試してみます。ColabのL4環境でVRAM占有率は 10987MiB / 23034MiBでした。日本語の生成は自然です。要約は問題なく、計算もこのサイズのモデルとしての…

#自然言語処理 #LLM

ModernBERTで固有表現抽出を日本語とColabで試してみる。

LLM Colaboratory Python BERT 自然言語処理

シーケンス長が最大8192トークンとし、さらにFlash Attentionに対応した改良BERTモデルであるModernBERTが発表されました。このModernBERTを日本語と英語で学習させたモデルをSoftbank Intuitionsさんが公開しました。そこで日本語で固有表現抽出(NER)を実施…

#自然言語処理 #modernBERT #日本語

rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf

LLM Colaboratory Python 自然言語処理

rinnaさんから出たdeepseek蒸留推論モデルもやってみるべし。ということで、Colab L4環境にてrinnaさん純正のGGUFファイルを利用します。VRAM占有率は14577MiB / 23034MiBです。知識がないと思われる事柄に関する返答は、下手な考え休むに似たり。時間かか…

#自然言語処理 #LLM

qwen2.5-bakeneko-32b-instruct-ggufをollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

rinnaさんより、qwen2.5-bakeneko-32b-instructが発表されました。Qwen2.5は基本性能も高く、他のチューニングモデルも高い性能を有しています。皆さん早速試されていて評判も高いようです。楽しみです。自分でやってみます。mmngaさんによるggufモデルを試…

#自然言語処理 #LLM

RakutenAI-2.0-8x7B-instruct-ggufをollamaとColabで試してみます。

Python LLM Colaboratory 自然言語処理

Rakutenからモデルが公開されていたので、早速mmngaさんのGGUF変換バージョンを試してみます。ColabのA100環境でお試しします。VRAM占有率は29279MiB / 40960MiBです。 8x7Bモデルということで、知識はあります。要約タスクはかなりコンパクトにまとめる傾向…

#自然言語処理 #LLM

Deep researchもどきを作ってローカルLLMの情報だけで遊んでみる。

LLM Colaboratory Python 自然言語処理

Deep researchというのは言い過ぎです。それっぽいものを自前で作ってみました。Deep researchは名前の通りresearchをするためにスクレイピング手法でWeb検索と連携させるのが普通です。、しかし、ローカルLLMしばりで、調査もローカルLLMで生成した文献を参…

#自然言語処理 #LLM

OpenなDeep ResearchでローカルLLMにGundam GQuuuuuuXについてColab上で考えてもらった

LLM Colaboratory Python 自然言語処理

OpenなDeep Researchが作られています。そこで、気になったBlogに掲載されていたNotebookをColabで動作できるようにし、unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bitのモデルを使ってお試ししました。Colab L4環境です。wikipediaapiを使った検索…

#自然言語処理 #LLM #unsloth

Simple test-time scaling: bartowski/simplescaling_s1-32B-GGUFをcolabとollamaとで、ためしてみる。

LLM Colaboratory Python 自然言語処理

Simple test-time scalingという方法を使ってファインチューニングされたQwen2.5ベースのモデルをためしてみます。Simple test-time scalingとはWaitトリックが印象的なファインチューニング手法です。この学習には厳選された教師データを用いているというと…

#自然言語処理 #LLM

UnslothのGRPO notebook（Colab）でTinySwallow-1.5B-Instructを学習させてみる。

LLM Colaboratory Python 自然言語処理

LLMにGroup Relative Policy Optimization (GRPO)をLoRAと組み合わせて、GPUリソースが少なくても学習させることができる手法をUnslothさんが提案されていたので、ためしてみます。サンプルのColabモデルでベースモデルをSakanaAI/TinySwallow-1.5B-Instruct…

#自然言語処理 #LLM

grapevine-AI/DeepSeek-R1-Distill-Qwen-32B-Japanese-GGUFをColabとOllamaでためす。

LLM Colaboratory Python 自然言語処理

DeepSeek-R1-Distill-Qwen-32BをCyberagentさんにより日本語チューンをしたモデルをさらにgrapevine-AIさｂｂの手によって日本語重視でGUFF化したモデルを試してみます。ColabのL4環境で行いました。VRAM占有率は21593MiB / 23034MiBです。推論プロセスは日…

#自然言語処理 #LLM

Mistral-Small-24B-Instruct-2501-ggufをollamaとColabでためす。

LLM Colaboratory Python 自然言語処理

MIstralから公表されたMistral-Small-24Bを試します。Hugging Faceのページをみると、SLMだというのは、量子化したらRTX4090で動かせるのでSLMということなのでしょうか。gguf変換のモデルはmmngaさんによるものを利用します。ColabのL4環境です。VRAM占有率…

#自然言語処理 #LLM

SakanaAI/TinySwallow-1.5B-Instruct-GGUFをollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

Sakana.AIより提案されたTAIDという学習手法を用いたモデルTinySwallow-1.5Bを試します。Colab T4環境で実施しました。VRAM占有率は1744MiB / 15360MiB でした。すでに多くの方が試していますが、このサイズを自分で動かさない手はありません。利用するならI…

#自然言語処理 #LLM

mmnga/ABEJA-Qwen2.5-32b-Japanese-v0.1-gguf

LLM Colaboratory 自然言語処理 Python

Qwen2.5-instructモデルを継続事前学習を実施したABEJA-Qwen2.5-32b-Japanese-v0.1が公開されていたので、お試しします。Colab L4環境でVRAM占有率は20603MiB / 23034MiBです。日本語能力の向上が楽しみです。 huggingface.co huggingface.co Qwen2.5-32Bは…

#自然言語処理 #LLM