地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

Open InterpreterをLocal LLMで

OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組み合わせは、開発が進むに従って変更されているので注意です。

 

github.com

 

プログラムの性格上、Docker内で動かしたくて、Karaageさんのレポジトリを参考にしつつDockerで動かせるようにしました。

github.com

特に大したことはないのだけれども、
1. LM Studioをserver modeで動作をさせる。

2. Docker内からLLMのAPIを参照するために、ホスト側のIPアドレスlocalhostとして参照させる。

以上2点。2が手間取りました。

 

なんとか、動き出したものの、LM StudioをWindowsで動かしてみるとGPUを使っていない。遅い・・・。

 

参考

github.com