GoogleのNotebook LMは大変有用なサービスです。しかし、利用しようにも利用できない事情が絡む場合があります。そこで、最近日本語の紹介文も増えてきたOpen Notebookを試してみます。
触った結果：
ollamaでLLMとしてGemma3:4bでトライしましたが、回答精度は実用的ではありませんでしたが、さくらのAI Engineを使ってgpt-oss:120bを利用してみたところ、十分実用的になりました。embeddingはembeddinggemmaでもそんなに悪くない気がします。日本語ならruri-v3あたりを使いたいところですね。
簡単に設置できて、手ごろに手元の資料を整理できそうです。よいデータセットを構築してプロンプトも含めて外部から利用できる可能性があるのか、と思ったら、APIも用意されているので良いnotebookが出来たらUIを用意さえすれば専用RAGチャットができそうです。これって結構な利点ではないでしょうか。
動作させた方法と味見の結果
Open Notebookのサイトを参考にして進めます。
事前準備：ローカルLLM
ollamaをdockerで動作。LLMとしてGemma3:4b、embedding modelとしてembeddinggemmaを利用します。Gemma系はサイズの割に日本語が自然です。ollama公式からダウンロードして即利用できるのも簡単です。embeddinggemmaも軽量な多言語対応モデルのため利用してみます。dokcer で ollamaを動作させて両モデルをpullしておきます。
もしくは、docker composeを利用して起動します。例えば、
services:
ollama:
image: ollama/ollama
container_name: ollama
ports:
- "11434:11434"
volumes:
- ./ollama:/root/.ollama
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
restart: always
volumes:
ollama:
といったcomposeファイルを書けば動くと思います。
open notebookを設定・起動
こちらを参考にして・・・
# Clone and setup
git clone https://github.com/lfnovo/open-notebook
cd open-notebook# docker-compose
cp docker-compose.full.yml docker-compose.yml# Rename and configure environment
mv .env.example docker.env
docker.envを編集します。ollamaが動作しているマシンのIPアドレスを入れてあげます。
# OLLAMA
OLLAMA_API_BASE="http://192.168.xxx.xxx:11434"
立ち上げます。
# docker composeで起動します。
docker compose up -d
# 立ち上がりを眺めておきます。
docker compose logs -f
完了です。簡単です。
実働例
投入したのは「技術書店１９」でオンラインで購入した「技術季報Vol.19」です。今後の開催日程が過去だったりしています。流石に4bモデルには荷が重かったか・・・。
ArXivのQwenのテクニカルレポートと関連論文を読み込ませると・・・。
まずまずの回答が得られます。仕方ないかもしれません。
LLMやembedding modelの選択によるところも大きいでしょう。という訳で、gpt-oss:120bを利用してみます。
Sakura API によるgpt-oss:120bをトライ
docker.envに以下を記載します。
OPENAI_COMPATIBLE_BASE_URL=https://api.ai.sakura.ad.jp/v1/
OPENAI_COMPATIBLE_API_KEY={your sakura ai engine api}
後は、modelをopen-notebookに設定してモデル名も入力すれば準備完了。
回答の質が上がり、これなら実用上問題なさそうです。
技術書典は、オンラインで書籍を買うばかりで、実際に足を運んだことがありません。いつか、行ってみたい。
