Microsoft1がポッドキャストでの会話ような自然な会話音声を生成するモデルを公開しました。Colabを利用します。サンプルプログラムはT4用でVibeVoice-1.5Bですが、ColabのL4環境でより大きいVibeVoice-7B-Previewにもチャレンジしてみました。 英語の会話は…

gemma-3-270m-itはコンパクトで、Googleさんからもfull_finetuneするコードが公開されています。〇〇風なチューニングではなく、QAセットで情報追加にチャレンジしてみます。ベースはGoogleさんが提供したColabノートを利用します。ColabのL4環境で実行しま…

Googleから公開されたGemma3 270M。FineTuringの方法も記載されています。そちらを利用してColabのL4環境で（雑な）自作データで学習をさせます。databricks-dolly-15kをローカルLLMでギャル語風に変換したデータです。 1h20mの学習時間でそれらしい出力が得…

「日本語に特化した指示を付与できるテキスト埋め込みモデル」として、Sarashina-embedding-v2-1Bが公開されました。さっそく、Retrival用途で簡単に実装してみてお試ししてみます。ColabのL4環境でお試ししました。 huggingface.co このモデルでは、queryだ…

目先を変えて色んなRAG方式による回答を試したいので、RAGお試しを作ってみることにしました。汎用的ではありませんが、新しい論文がでたらGemini CLIあたりを使って、追加実装できるような程度に設計用のドキュメントを用意して実装してみました。basicなRA…

小型LLMの中でも、Googleのgemma3の超小型のLLMモデルを試します。ColabのT4環境です。ollama公式のgemma3:270mとUnsloth: 270m-itをColabのT4環境で試してみます。 日本語のチューニングもされてないので、日本語怪しいかも・・・と思ったのですが、日本語…

NEXT CloudでSQLデータベースをROW_FORMAT=Dynamicに変換してね、という警告が出ました。しばらく、放置していたのですが、updateついでに解消します。helpで議論されていたのはSQLサーバが別サーバに設置されているのが、考慮されてなかったので、スクリプ…

fastapi-mcpを使って簡単なRAGサーバーを構築しました。 bwgift.hatenadiary.jp 拡張性を意識してシンプルなメモを保存・削除する基本的なメモ保存用のMCPサーバををfastapi-mcpで作成します。メモを保存し検索返答するシンプルなプログラムです。メモを保存…

OpenAI GPT-OSS 20Bをunslothを使ってColabでファインチューニングに挑戦します。難しいチューニングは破綻の元なので、言葉じりを変える程度のチューニングを実施します。unslthの公式Colabを参考にして進めます。ColabのL4環境で実施します。 データセット…

Model Context Protocol (MCP)に準拠したRAG（Retrieval-Augmented Generation）機能を持つMCPサーバを機能を絞って簡単なものを作ってみます。ローカルで運用するのではなく、別サーバーで運用できるようにします。 ここのところお気に入りのjules君と作業…

GoogleがOSSとして発表したlangextract。非構造化なテキストから構造化情報を得ることができます。structured outputとかでうまく収得することもできるので、敢えて必要なのかな・・・と思いつつ試してみました。Colabで試してみます。LLMは「Qwen3-4B-Instr…

OpenAIのSLMであるgpt-oss:20bをColabのL4環境で試してみます。VRAM占有率は15207MiB / 23034MiB です。モデルはollama公式で提供されているgpt-oss-20bを利用します。楽しみです。 今の時点では、このサイズ感でタスクに使いやすいのはQwenのモデルかも・・…

ModernBERTをNERのタスクについてチャレンジしていました。最終的にまとめずに放置していたので整理しました。題材は、stockmark/ner-wikipedia-datasetを利用します。 こちらを参考にします。 www.sbintuitions.co.jp モデルは、こちらのものをありがたく利…