地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

2025-02-12から1日間の記事一覧

RakutenAI-2.0-8x7B-instruct-ggufをollamaとColabで試してみます。

Rakutenからモデルが公開されていたので、早速mmngaさんのGGUF変換バージョンを試してみます。ColabのA100環境でお試しします。VRAM占有率は29279MiB / 40960MiBです。 8x7Bモデルということで、知識はあります。要約タスクはかなりコンパクトにまとめる傾向…

Deep researchもどきを作ってローカルLLMの情報だけで遊んでみる。

Deep researchというのは言い過ぎです。それっぽいものを自前で作ってみました。Deep researchは名前の通りresearchをするためにスクレイピング手法でWeb検索と連携させるのが普通です。、しかし、ローカルLLMしばりで、調査もローカルLLMで生成した文献を参…