SAKURA internetではGPUがある？ということで、（個人で設置は厳しいですが）gpt-oss-120bやQwen, llm-jpのモデルを利用できるAPIのサービスを始めました。さっそく、設定して、Chat Completionを呼び出してみます。
こちらのサイトに従って設定していきます。
基盤モデル無料プランで、まずはお試しです。
会員IDは持っているので、さくらクラウドのプロジェクト作成から始めます。とりあえず、適当な名前で作ります。そのまま次にいけるかとおもったら、「さくらのAI Engine」のコントロールパネルに向かう必要があります。
「さくらのAI Engine」のコントロールパネル、「基盤モデル無料プラン」を選んでアクセストークンを入手します。
APIを調べるとOpenAIのAPIと互換性があるので、openaiのライブラリをそのまま使います。api_keyをさくらのAPIに、ベースURLは、https://api.ai.sakura.ad.jp/v1/です。
というわけでColabのノートです。
"gpt-oss-120b", "Qwen3-Coder-480B-A35B-Instruct-FP8", "Qwen3-Coder-30B-A3B-Instruct", "llm-jp-3.1-8x13b-instruct4"のモデルなので使いやすいですね。Qwen3-Coder-30B-A3B-Instructは流石に知識は少ないですが、Code補完や他のモデルと併用することになるのでしょう。
今後、モデルが増えると良いですね。
LoRAを組み合わせられるとかできるようになると面白くなるのかも・・・。
