地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

Python

SakanaAI/TinySwallow-1.5B-Instruct-GGUFをollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

Sakana.AIより提案されたTAIDという学習手法を用いたモデルTinySwallow-1.5Bを試します。Colab T4環境で実施しました。VRAM占有率は1744MiB / 15360MiB でした。すでに多くの方が試していますが、このサイズを自分で動かさない手はありません。利用するならI…

#自然言語処理 #LLM

mmnga/ABEJA-Qwen2.5-32b-Japanese-v0.1-gguf

LLM Colaboratory 自然言語処理 Python

Qwen2.5-instructモデルを継続事前学習を実施したABEJA-Qwen2.5-32b-Japanese-v0.1が公開されていたので、お試しします。Colab L4環境でVRAM占有率は20603MiB / 23034MiBです。日本語能力の向上が楽しみです。 huggingface.co huggingface.co Qwen2.5-32Bは…

#自然言語処理 #LLM

mmnga/AXCXEPT-phi-4-open-R1-Distill-EZOv1-ggufをollamaとColabでためす。

LLM Colaboratory Python 自然言語処理

R1の蒸留モデル、phi-4バージョンも試します。ggufは、mmngaさん作成のものをありがたく使います。Colab L4環境でためしました。VRAM占有率は 11061MiB / 23034MiBです。 huggingface.co 推論は日本語で出力されました。Phi-4の性質が強く感じられる結果とな…

#自然言語処理 #LLM

DeepSeek-R1-Distill-Qwen-14B-Japanese-ggufをollamaとColabとで試す

LLM Colaboratory Python 自然言語処理

Cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese-ggufのggufファイルが上がっていたので、早速味見をします。知識不足のハルシネーションが推論途中に入るとハルシネーションがハルシネーションを呼ぶ展開に・・・。推論が必要か、不要かを組み込んだモデ…

#自然言語処理 #LLM

mmnga/cyberagent-Mistral-Nemo-Japanese-Instruct-2408-ggufをollamaとcolabで試す。

LLM Colaboratory Python 自然言語処理

mmngaさんによるcyberagent-Mistral-Nemo-Japanese-Instruct-2408のgguf変換版を試してみます。日本語を意識しているLLMです。昨年発表のモデルですが、変換モデルが公開されたので改めて試します。ColabのL4環境で実行しました。VRAM占有率は、8993MiB / 23…

#自然言語処理 #LLM

Bespoke-Stratos-32B-GGUFをollamaとcolabで試す。

LLM Colaboratory Python 自然言語処理

DeepSeek-R1を利用したデータセットを使ってQwen/Qwen2.5-32B-InstructをチューニングしたモデルのGGUFを試します。蒸留流行りそうだと思ったら・・・さっそく性能向上したようですが・・・。Colab L4環境です。 Qwen2.5-32Bベースなので知識量や回答品質は…

#自然言語処理 #LLM

DeepSeek-R1-Distill-Llama-8B-ggufをollamaとColabで試す。

LLM Colaboratory Python 自然言語処理

DeepSeek R1-Distillモデルが現れたので試してみます。Colab L4環境で試しましたが、 VRAM占有率は6357MiB / 23034MiB でしたので、T4でも動くのではないでしょうか。 8BでかつGGUFです。日本語の調整を行っていないモデルという前提ですが、微妙に中国語の…

#自然言語処理 #LLM

unslothとcolabでQwen2.5-Coder-14Bをファインチューニングしてみる。

LLM Colaboratory Python 自然言語処理

unsloth/Qwen2.5-Coder-14B-Instruct-bnb-4bitを使って、過去に使ったデータセットを使って、ファインチューニングを行い日本語の語調を変えてみます。Qwen2.5と14Bの組み合わせで現実的にcolabで遊べるものが出来るのかのチェックが目的です。coderではなく…

#自然言語処理 #LLM

Unslothでphi-4をcolabでファインチューニングしてみる。

LLM Colaboratory Python 自然言語処理

Phi-4のBugをfixした！というXを見かけたので、追っていくとUnslothの記事に行きつきました。すると、ファインチューニングすぐできるよ！というColabまであるのでお試し。Colab T4で動くとありますが、L4環境で稼働させました。データセットは丁寧に人力で…

#自然言語処理 #LLM

command-r7bをollamaとColabで試す。

LLM Colaboratory Python 自然言語処理

Cohere、command-r7b。試してみます。7Bでどこまでできるんだろうという興味本位です。ColabのT4環境です。と、なんとなく、ollama公式のモデルを実行してみると、意外と実力あります。ollama公式のGGUFファイルなので日本語の調整は入ってないでしょう。そ…

#自然言語処理 #LLM

sky-t1-32B-preview-clineをollamaとColabでためす。

LLM Colaboratory Python 自然言語処理

Sky-TはQwQ-32B-Previewを使って作成したデータをベースにして450ドル未満という低コストで作成した推論モデルです。Llama-Factory によって学習させたとのこと。特にコーディング性能もよいということです。ColabのT4環境で実行します。VRAM占有率は21711Mi…

#自然言語処理 #LLM

OLMo2をollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

OLMo 2は学習プロセスが完全にオープンなモデルです。7Bと13Bがありますが、13Bをためしてみます。ollamaの公式に挙げられているモデルを使います。Colab T7環境で実施しました。VRAMの占有率は9709MiB / 15360MiBでした。日本語の回答は気になる点はありま…

#自然言語処理 #LLM

メモ：ollamaでphi4のTEMPLATEを設定してclineで使ってみる。

LLM Python 自然言語処理

phi4はコーディング能力も高そうです。clineで使えたら良いですよね。そこで試してみます。 note.com ollamaを使えばすぐに試せます。が、素のままだとループが始まったりしていまいちです。Qwen2.5でも同じ傾向があったので、先人のトライを参考にします。m…

#自然言語処理 #LLM

Phi4をOllamaとColabでためしてみる。

Colaboratory LLM Python 自然言語処理

少し不在にしていたら、Phi4がMITライセンスで公開されていました。ColabのL4環境で試してみます。phi4はollama公式に上がっているものを利用します。VRAMの占有率は 11061MiB / 23034MiBでした。日本語の調整をしていないollama公式にuploadされているモデ…

#自然言語処理 #LLM

Manual-Dataset-Creation-ProjectによるデータセットMalum-230を使ってLLaMA-Factory CLiによるQLoRAファインチューニングをColabでためしてみる。

LLM Colaboratory Python お勉強自然言語処理

Malum-230は手作りの日本語の事前学習・事後学習両用の論理推論データセットです。素晴らしいデータセットなので、ファインチューニングを手軽にできるLLaMA-Factoryのお勉強の題材として使ってみました。有難いです。人手で作成した、事前学習・事後学習両…

#LLM #自然言語処理

メモ：Genesisをwsl2で動かす。

WSL Python Windows11 機械学習お勉強

話題のGenesisをwsl2で動かしてみます。少しだけはまっちゃったのでメモしておきます。先人たちに感謝。 github.com 環境 wsl2(windows11): Distributor ID: UbuntuDescription: Ubuntu 22.04.5 LTSRelease: 22.04Codename: jammy 手順とりあえず、仮想環境…

#Genesis #強化学習

smolagentsのguickdemoをollamaとcolabでためしてみる。

LLM Colaboratory Python 自然言語処理

HuggingFaceから発表されたAgentを作成するツールであるSmolagents。1000行くらいのcodeで機能を提供しているとのこと。Colabで試せないかなと思ったらLiteLLMModelを利用できるとあるので、試してみました。 huggingface.co github.com ColabのL4環境でモデ…

#自然言語 #LLM

メモ：granite3.1-denseのFineturing(LoRA)をColabでやってみる。

LLM Colaboratory Python 自然言語処理

IBMが公開しているモデルgraniteがいつの間にか3.1になっていました。そのまま試しても面白くないので、granite-3.1-2b-instructのファインチューニングをLoRAで実施してみます。丁寧にcookbookとして、基本的なコードが公開されています。ありがたく利用し…

#自然言語処理 #LLM

tokyotech-llm-Llama-3.1-Swallow-70B-Instruct-v0.3-gguf

LLM Colaboratory Python 自然言語処理

tokyotech-llm-Llama-3.1-Swallow-70B-Instruct-v0.3が公開されてましたので楽しみにお試しします。GGUFファイルはmmngaさん作成のものを感謝して利用します。Colab A100環境でVRAM占有率は39413MiB / 40960MiBでした。結果。日本語MT-Benchがgpt-3.5-turb…

#自然言語処理 #LLM

tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-ggufをollamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-ggufを試してみます。GGUFは、mmngaさんが作成されたものを利用しました。楽しみです。ColabのL4環境です。VRAM占有率は 6357MiB / 23034MiBでした。結果；日本語は自然です。知識量は8B相応だな、という…

#自然言語処理 #LLM

メモ：Ollamaのstructured outputをもう少し使ってみる。

LLM IT Python 自然言語処理お勉強

ローカルLLMでデータ加工したいということで、ollamaのstructured outputsをもう少し使ってみるメモです。多少複雑な構造でも使えそうなのか・・・？を試してみます。これまでのトライでは、日本語の場合、JSONのフォーマットが不正なエラーが生じるケースが…

#自然言語処理 #LLM #ollama

falcon3:10b-instruct-q8_0をColabとollamaでためしてみる

LLM Colaboratory Python 自然言語処理

falcon3を試してみます。ollama公式の7Bだと日本語は辛そうだったので、10b-instruct-q8_0で試してみます。ColabのL4環境で実行。 VRAMの占有率は11919MiB / 23034MiBでした。日本語の性能は高くありませんでした。計算性能は高そうでしたので、日本語の学…

#自然言語処理 #LLM

mmnga/sarashina2.1-1b-sft-ggufをColabとOllamaでためしてみる

LLM Colaboratory Python 自然言語処理

SB Intuitionsによるsarashinaの1BモデルのInstruction Tuningしたモデルを試します。1Bです。ollama使ってColab T4環境で動かしたときにはVRAM1909MiB / 15360MiBの占有率です。結構、良いと評判なので試してみます。結果：自然な日本語を生成します。Ara…

#自然言語処理 #LLM

読んだ：VTuberサプーが教える！　Python　初心者のコード／プロのコード

Python 読書

がっつりプログラムをする人のいない環境のぼっち日曜プログラマ。初心者向け入門書くらいは読んだことはあるけど、ほぼ我流。他人と共有しないプログラムであれば自由でいいし動けばOK。ここ数年動かしっぱなしのコードを改修しようとしたらドツボにハマる…

メモ：ollamaのstructured outputsでのエラーハンドリング

LLM Python 自然言語処理

ollamaでstructured outputsに対応したので試します。すでに良記事が存在するので一読して、気になった出力の安定性とその時のエラー処理の味見をしました。ollamaでローカルLLMで大量のテキストを処理したい。データセットをちょっと加工したり、論文からデ…

#自然言語処理 #LLM

Llama-3.3-70B-Instruct-ggufをollamaとColabでためしてみる

Colaboratory LLM Python 自然言語処理

OpenAIの発表が続く中、Llama-3.3-70Bが公開されていました。さっそく、mmngaさんがGGUFを作成されていましたので、Colabで試します。Colab L4環境です。 70Bモデルもすっかり高い性能になってきましたが、Llama-3.3-70Bもその高さを感じさせます。ただし、l…

#LLM #自然言語処理

メモ：CycleQDをColabでためしてみる。

Colaboratory LLM Python 自然言語処理

Sakana.aiが発表したあらたな技術CycleQD。Googlefan256さんは早速、実証実装をされていたので、Colabで動かしてみます。Colab T4のハイメモリ環境です。ハイメモリじゃないとQwen2.5-0.5Bベースでもダメでした。とりあえず、動くかどうかを試しただけなので…

#自然言語処理 #LLM #CycleQD

mmnga/Llama-3.1-Nemotron-70B-Instruct-HF-ggufをColabとollamaでためしてみる。

LLM Colaboratory Python 自然言語処理

NVIDIA製Llama-3.1-Nemotron-70BのGGUFをmmngaさんがGGUFとしていらっしゃったので試します。ColabのL4環境です。A100が引き当てられず、予測時間は結構かかります。推論過程を提示しろというSYSTEM PROMPTを用いました。結果は、さすがに良好です。推論過…

#自然言語処理 #LLM

EZO-QwQ-32B-Preview-GGUFをollamaとColabで試す。

LLM Colaboratory Python 自然言語処理

QwQ-32B-Previewはo1的な推論モデルを組み込んだ実験的なモデルです。中国語や英語が生成途中で混じったりすることがありました。その点をマージで調整されたEZO-QwQ-32B-PreviewのGGUFバージョンをお試ししてみます。ColabのL4環境です。試した範囲では、…

#自然言語処理 #LLM

QwQ-32B-Preview-GGUFをollamaとColabでためす

IT Colaboratory LLM Python 自然言語処理

QwQ-32B-Previewを試します。公式のGGUFではなく、bartowskiさん作成のGGUFを利用させていただきました。公式を試された方は比較されるといいかもしれません。微妙に日本語がおかしかったり、英語になったりする部分は最適化を施すと変わってくるように思い…

#自然言語処理 #LLM