地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

2025-03-01から1ヶ月間の記事一覧

mradermacher/ArrowNeo-AME-3x4B-v0.1-MoE-GGUFをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

AItuberの魂を狙ったモデルである、ArrowNeo-AME-3x4B-v0.1-MoE(GGUF K_M)を試してみます。sarashinaベースでもあり軽さと日本語に期待しつつ試してみます。ColabのL4環境で試しました。VRAM占有率は 5773MiB / 23034MiBでした。 生成されたテキストは自然さ…

#自然言語処理 #LLM

メモ：表交じりのPDFからMarkdownに変換してみる。

Colaboratory LLM Python 自然言語処理

表形式が混在したPDFをMarkdown形式へと変換にトライしたのでメモです。前提としてはすでにPDFにテキストが埋め込まれているものを対象とします。拾い物のPDFでお試ししたので変換後の結果は割愛しています。問題のないPDFで試したら追記したいと思います。M…

#自然言語処理 #LLM #PDF

codeembed-modernbert-owl-previewをcolabで試してみる。

LLM BERT Colaboratory 自然言語処理

コード検索やコード理解を目的とした事前学習済みモデルをXで見かけたので試してみました。こういう特化型モデルは興味深いです。いろいろと作って使えるときっと楽しいでしょう。モデル有難く動かしてみました。 企業の文章だと似たような文章ばかりのもの…

#自然言語処理 #BERT

mmnga/qwen2.5-bakeneko-32b-instruct-v2-ggufをollamaとcolabで試してみる。

LLM Colaboratory Python 自然言語処理

Rinna社のqwen2.5-bakeneko-32b-instruct-v2-ggufをmmngaさんのGUFFバージョンで試してみます。実力が発揮されると嬉しいなと思いつつ・・・。Colab L4環境で試してみます。VRAM占有率は20475MiB / 23034MiB でした。 知識は多少微妙な感じもします。langcha…

#自然言語処理 #LLM

rinna/qwen2.5-bakeneko-32b-instruct-v2-ggufをollamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

非思考モデル「Qwen2.5 Bakeneko 32B Instruct V2」がRinna社より公開されてました。推論モデルでない方が使いやすいかもと思いつつ、試してみます。Colab L4環境でVRAM占有率は、14577MiB / 23034MiBでした。 日本の知識は微妙な感じでしたが、参照テキスト…

#自然言語処理 #LLM

メモ：cl-nagoya/ruri-large-v2をlangchainでembeddingとして使う。

LLM Colaboratory Python 自然言語処理

LangchainでEmbeddingsとして、ruri-large-v2を利用するメモ。Prefixをつけてqueryとdocumentを使うだけです。 huggingface.co LangchainのEmbeddingsを利用してPrefixEmbeddingsを定義。 from langchain_core.embeddings import Embeddingsclass PrefixEmbe…

#自然言語処理 #embeddings

rinna/qwq-bakeneko-32b-ggufをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

RINNA社からQWQ-32Bベースのモデルがでました。日本語で使いやすくなっているのを期待しつつ試してみます。Colab L4環境で試します。 VRAM占有率は14577MiB / 23034MiB でした。 推論もしっかり日本語で実施します。日本語も生成されたテキストに含まれる漢…

#自然言語処理 #LLM

Gemma3はSuper Marioの夢を見れるか。

LLM Colaboratory Python 画像認識 自然言語処理

Gemma3のVisionも試してみます。どこまでマリオのシチュエーションを理解してくれるのでしょうか。kun4232さんの記事を参考にgemma3-4b-itモデルをColab L4環境で試してみます。 大まかな状況は説明ができていますが、敵の数や土管の位置関係は分かっている…

#自然言語処理 #LLM

ggml-org/gemma-3-27b-it-GGUFをollamaとColabで動かしてみる。

LLM Colaboratory Python 自然言語処理

さらっとgemma-3が公開されていましたので、早速試してみます。ColabのL4環境で、27Bモデルを試します。VRAM占有率は 17335MiB / 23034MiB です。 現時点でollamaでも動かせます。再現性ありませんでしたが、エラーが出る時がありました。次のリリースで完全…

#自然言語処理 #LLM

mmnga/tokyotech-llm-Llama-3.3-Swallow-70B-Instruct-v0.4-ggufをollamaとColabで試してみる。

LLM Colaboratory Python 自然言語処理

Llama 3.3 Swallow はLlama3.3ベースの70B日本語拡張モデルです。ベンチマークの性能を見ると高い性能を有しています。楽しみです。mmngaさんが作成したGGUFを利用します。Colab A100環境で試してみます。VRAM占有率は39425MiB / 40960MiBでした。 生成する…

#自然言語処理 #LLM

日本語ModernBERTのFT版、AMBERをLangchainでembeddingとしてColabで使ってみる。

LLM Colaboratory BERT Python 自然言語処理

SB Insituionsさんの日本語ModernBERTをFinetuningしたtext embedding modelである、AMBERをlanchainで利用してみます。Retrievalのベンチマーク成績も高く、今後利用してみたいので、基本的な部分を勉強のため実装してみます。日本語の環境がだんだん整って…

#自然言語処理 #LLM

QwQ-32B-ggufをColabとollamaで動かしてみる。

Python Colaboratory 機械学習

QwQ-32Bは、DeepSeek-R1と同等の性能を持つとされているモデルです。mmngaさんによるGGUFへ変換したモデルをColabとOllamaを使って試してみます。Colab L4環境で実行しました。VRAM占有率は 21591MiB / 23034MiBでした。 最終回答は日本語で行うようにプロン…

#自然言語処理 #LLM

Stockmark-2-100B-Instruct-beta-ggufをColabとOllamaでためしてみる。

Python Colaboratory 自然言語処理

Stockmark-2-100B-Instruct-betaは100Bのパラメータを持つ、Stockmark社による日本の・英語モデルです。GGUF化されたモデルが早くも公開されていますので、試してみます。まだ、途中段階のモデルということですが、100Bクラスということで期待してしまいます…

#自然言語処理 #LLM

phi4-miniをOllamaとColabでためしてみる。

LLM Colaboratory Python 自然言語処理

phi4-miniはMicrosoftが発表した小型で優秀なモデルです。ollamaを使ってColab T4環境で試してみます。VRAM占有率は 4002MiB / 15360MiBです。 3.8Bと小型のモデルです。最近はSLMといいつつ32Bくらいある中、頼もしい？存在です。知識量はありませんが、日…

#自然言語処理 #LLM

Colabのエージェントモードを使って三国志を分析してみる。

LLM Colaboratory Python 自然言語処理

Colabにデータファイルから分析する機能が追加されました。さっそく、吉川英治の三国志（青空文庫）を分析させます。利用するテキストデータは、予め青空文庫からデータをプレーンテキストにパースしておきます。文字数は1,625,493文字となり、量はあります…

#Colab #Gemini

Asagi-VLMにスーパーマリオの画面を説明させてみる。

日本語に特化したオープンなVision&Languageモデル（VLM）である、Asagiでスーパーマリオの画面が解釈できるのか試してみました。2B,8Bを試してみましたが、位置関係はかなり怪しい結果でした。残念。日本語のモデルは今後どんどん必要になるので、効率の良…

#自然言語処理 #VLM