OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組み合わせは、開発が進むに従って変更されているので注意です。
プログラムの性格上、Docker内で動かしたくて、Karaageさんのレポジトリを参考にしつつDockerで動かせるようにしました。
特に大したことはないのだけれども、
1. LM Studioをserver modeで動作をさせる。
2. Docker内からLLMのAPIを参照するために、ホスト側のIPアドレスをlocalhostとして参照させる。
以上２点。2が手間取りました。
なんとか、動き出したものの、LM StudioをWindowsで動かしてみるとGPUを使っていない。遅い・・・。
参考
