地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

2025-02-01から1ヶ月間の記事一覧

ModernBERT-Ja-310m/30mとColabでNERを試してみる。

Modern-BERT-Jaにパラメータ違いが公開されました。大きく差はでないんじゃないかと予測しつつやってみなきゃわからないということで挑戦してみました。30Mと310Mで学習させてみました。F1-Scoreは310Mが0.881, 30Mが0.873と0.008ポイント差。予測結果を見る…

#自然言語処理 #ModernBERT #NER

OpenHandsをOllamaをwsl2を使って完全ローカルで動かしてみる。

LLM Python 自然言語処理

OpenHands（旧OpenDevin）をwsl2上で動作をします。LLMはollamaを利用します。 github.com OpenHands用のdocker composeを準備 docker コマンドでもいいのですが、メモ代わりにcompose.yamlを作成して起動します。 docker-compose.yaml version: "3.9" servi…

#OpenHands #LLM #Ollama

メモ：modernBERT（日本語）でNER

Python Colaboratory BERT 自然言語処理

bwgift.hatenadiary.jp これまでmodernBERTをNERで活用したいと進めてきました。Huggingfaceへのuploadもbestではなくlast modelをuploadですませたりと雑にやってました。区切りが悪いので補足します。 Best modelを最後にload load_best_model_at_end=True…

#自然言語処理 #LLM #modernBERT

mmnga/deepseek-r1-distill-qwen2.5-bakeneko-32b-ggufをColabとollamaで試してみる。

LLM Colaboratory 自然言語処理

mmngaさん作成のdeepseek-r1-distill-qwen2.5-bakeneko-32b-ggufを試してみます。rinna社変換バージョンではちょっと不自然な生成もありましたが良質なgguf変換モデルをいつも提供されるので期待しつつ試してみます。Colab L4環境でお試しします。VRAM占有率…

#自然言語処理 #LLM

VOICEVOX OpenAI TTS APIとOpenWebUIでローカルでチャットする。

LLM 自然言語処理 WSL

VoicevoxエンジンのOpen AI互換のAPIがキタ！。VOICEVOXをさらに気軽に利用できるます。早速、OpenWebUIから呼び出して利用してみます。OpenWebUIではAPIを設定したりモデルのダウンロードしたりすると自動読み上げや音声認識連携をすることが可能なUIです。…

#VOICEVOX #LLM #OpenWebUI

Tokenizerを見直してmodernBERTでNERをColabでためしてみる。

LLM Colaboratory BERT Python 自然言語処理

KoichiYasuokaさんからHatena Blogにコメントを頂きました。tokenizerに工夫をしては？というものでした。「日本の首相」が「日本の 首相」に分かち書きされています。これでは「日本」を取り出せない。つまり、 今まで：日本の 首相 改善 ：日本 の 首相 と…

#自然言語処理 #LLM #modernBERT

最後に日本語ModernBERTでColabでNERしてhuggingfaceにuploadしてみる。

LLM BERT Colaboratory 自然言語処理

日本語ModernBERTで10epochsくらい学習させて止まってたので、50epochsまで学習させたモデルを作成しました。Huggingfaceにモデルをアップロードにもチャレンジしてみました。Colab T4環境です。回しっぱなしで、お仕事終わってふとみると早々にlossが下がっ…

#自然言語処理 #LLM #modernBERT

参考のためにbert-base-japanese-v3で固有表現抽出をColabで試してみる。

LLM BERT Colaboratory Python 自然言語処理

ModernBERTによる固有表現抽出を試してみて気になったのでBERT-base-japanese-v3でも試してみます。同じように10epochs学習させてみました。Tokenizer部分などなど必要な部分を変更しますが、学習データやハイパラはそのままです。ざっくりです。 学習は無事…

#自然言語処理 #LLM #BERT

grapevine-AI/phi-4-ggufをollamaとColabとでためしてみる。

LLM Colaboratory Python 自然言語処理

phi-4はトークナイザ不具合があったようです。その訂正版をgguf化されたものが公開されました。楽しみに試してみます。ColabのL4環境でVRAM占有率は 10987MiB / 23034MiBでした。 日本語の生成は自然です。要約は問題なく、計算もこのサイズのモデルとしての…

#自然言語処理 #LLM

ModernBERTで固有表現抽出を日本語とColabで試してみる。

LLM Colaboratory Python BERT 自然言語処理

シーケンス長が最大8192トークンとし、さらにFlash Attentionに対応した改良BERTモデルであるModernBERTが発表されました。このModernBERTを日本語と英語で学習させたモデルをSoftbank Intuitionsさんが公開しました。そこで日本語で固有表現抽出(NER)を実施…

#自然言語処理 #modernBERT #日本語

rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf

LLM Colaboratory Python 自然言語処理

rinnaさんから出たdeepseek蒸留推論モデルもやってみるべし。ということで、Colab L4環境にてrinnaさん純正のGGUFファイルを利用します。VRAM占有率は14577MiB / 23034MiBです。 知識がないと思われる事柄に関する返答は、下手な考え休むに似たり。時間かか…

#自然言語処理 #LLM

qwen2.5-bakeneko-32b-instruct-ggufをollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

rinnaさんより、qwen2.5-bakeneko-32b-instructが発表されました。Qwen2.5は基本性能も高く、他のチューニングモデルも高い性能を有しています。皆さん早速試されていて評判も高いようです。楽しみです。自分でやってみます。mmngaさんによるggufモデルを試…

#自然言語処理 #LLM

RakutenAI-2.0-8x7B-instruct-ggufをollamaとColabで試してみます。

Python LLM Colaboratory 自然言語処理

Rakutenからモデルが公開されていたので、早速mmngaさんのGGUF変換バージョンを試してみます。ColabのA100環境でお試しします。VRAM占有率は29279MiB / 40960MiBです。 8x7Bモデルということで、知識はあります。要約タスクはかなりコンパクトにまとめる傾向…

#自然言語処理 #LLM

Deep researchもどきを作ってローカルLLMの情報だけで遊んでみる。

LLM Colaboratory Python 自然言語処理

Deep researchというのは言い過ぎです。それっぽいものを自前で作ってみました。Deep researchは名前の通りresearchをするためにスクレイピング手法でWeb検索と連携させるのが普通です。、しかし、ローカルLLMしばりで、調査もローカルLLMで生成した文献を参…

#自然言語処理 #LLM

OpenなDeep ResearchでローカルLLMにGundam GQuuuuuuXについてColab上で考えてもらった

LLM Colaboratory Python 自然言語処理

OpenなDeep Researchが作られています。そこで、気になったBlogに掲載されていたNotebookをColabで動作できるようにし、unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bitのモデルを使ってお試ししました。Colab L4環境です。wikipediaapiを使った検索…

#自然言語処理 #LLM #unsloth

Simple test-time scaling: bartowski/simplescaling_s1-32B-GGUFをcolabとollamaとで、ためしてみる。

LLM Colaboratory Python 自然言語処理

Simple test-time scalingという方法を使ってファインチューニングされたQwen2.5ベースのモデルをためしてみます。Simple test-time scalingとはWaitトリックが印象的なファインチューニング手法です。この学習には厳選された教師データを用いているというと…

#自然言語処理 #LLM

UnslothのGRPO notebook（Colab）でTinySwallow-1.5B-Instructを学習させてみる。

LLM Colaboratory Python 自然言語処理

LLMにGroup Relative Policy Optimization (GRPO)をLoRAと組み合わせて、GPUリソースが少なくても学習させることができる手法をUnslothさんが提案されていたので、ためしてみます。サンプルのColabモデルでベースモデルをSakanaAI/TinySwallow-1.5B-Instruct…

#自然言語処理 #LLM

llm-jp/llm-jp-3-13b-instruct3をColabで試してみる。

llm-jp/llm-jp-3-13b-instruct3をためしてみます。SFT に加えて DPO を施したモデルがinstruct3とのことです。Colab L4環境で試しました。13Bなんでなんとか動くだろう・・・と思いましたが、生成時間節約のためmax_tokens=100で動作させています。今回は、…

#自然言語処理 #LLM

SakanaAI/TinySwallow-1.5BをColabでファインチューニングしてみる。

SakanaAI/TinySwallow-1.5Bは、1.5Bにもかかわらず性能が高いモデルです。ファインチューニングを実施したらどうなるのだろうかと、お手軽に実施します。Colab T4のハイメモリ環境です。ハイメモリじゃなくても大丈夫かもしれません。VRAMは5GB程度の占有率…

#自然言語処理 #LLM #unsloth

grapevine-AI/DeepSeek-R1-Distill-Qwen-32B-Japanese-GGUFをColabとOllamaでためす。

LLM Colaboratory Python 自然言語処理

DeepSeek-R1-Distill-Qwen-32BをCyberagentさんにより日本語チューンをしたモデルをさらにgrapevine-AIさｂｂの手によって日本語重視でGUFF化したモデルを試してみます。ColabのL4環境で行いました。VRAM占有率は21593MiB / 23034MiBです。 推論プロセスは日…

#自然言語処理 #LLM

Mistral-Small-24B-Instruct-2501-ggufをollamaとColabでためす。

LLM Colaboratory Python 自然言語処理

MIstralから公表されたMistral-Small-24Bを試します。Hugging Faceのページをみると、SLMだというのは、量子化したらRTX4090で動かせるのでSLMということなのでしょうか。gguf変換のモデルはmmngaさんによるものを利用します。ColabのL4環境です。VRAM占有率…

#自然言語処理 #LLM

SakanaAI/TinySwallow-1.5B-Instruct-GGUFをollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

Sakana.AIより提案されたTAIDという学習手法を用いたモデルTinySwallow-1.5Bを試します。Colab T4環境で実施しました。VRAM占有率は1744MiB / 15360MiB でした。すでに多くの方が試していますが、このサイズを自分で動かさない手はありません。利用するならI…

#自然言語処理 #LLM