2024-11-01から1ヶ月間の記事一覧
QwQ-32B-Previewを試します。公式のGGUFではなく、bartowskiさん作成のGGUFを利用させていただきました。公式を試された方は比較されるといいかもしれません。微妙に日本語がおかしかったり、英語になったりする部分は最適化を施すと変わってくるように思い…
コーディングとLLMの相性は良いようで、道具として使えるレベルに来ているようです。ChatGPTやCopilot等々で関数作成やエラー解決にお世話になることもしばしば。VS Code+Clineで楽できそうだったのでチャレンジしました。Claudeを使いたいですけれども、無…
Marco-o1 は、CoT、MCTS、リフレクションを利用した推論を組み入れたモデルです。ollamaで利用できるようになったので試してみました。日本語の出力がスムースなかったので、オリジナルの中国語のプロンプトではなく、システムプロンプトを英語で記述して日…
grapevine-AI/Athene-V2-ChatをColab L4環境でお試しします。試す前から無謀なのは覚悟です。コーヒーを用意してチャレンジです。ollamaを利用すると、それでもなんとか動くのは凄いです。もちろん、実用レベルの生成速度は得られません。やはり、生成の質は…
Qwen2.5-3B-128KのGGUFモデルを作成されている方がいらっしゃったので、Colab T4環境で試してみました。有難く試してみます。なんやかやで、長文の投入は出来るモデルは心強いですよね。長文の解析で恩恵をあずかるのは、コード解析や論理性のないストーリー…
コード生成モデルがどんどん進化しているので、簡単にお試しします。そこで、自動でコード生成させるサンプルとして、Karaageさんのcode cokerの記事を思い出しました。有難く利用させていただきます。今回は、githubにあったもともとのnotebookのコードをベ…
Athene-V2-ChatをColab A100環境で試してみます。Qwen-2.5-72Bをベースにファインチューニングしたモデルとのこと。もともとのQwenの性能も高いので期待できます。VRAM占有率は39829MiB / 40960MiB。GGUFはImstudio-communityのものをありがたく使います。話…
llama-3-1-swallow-8b-instruct-v0.2が公表されていましたので、試してみます。コツコツと積み重ねて発表されていて（文字通り）陰ながら応援しています。ColabT4環境でテストを行いました。 生成された文章は、簡潔で饒舌な方ではありません。長文生成は複…
我がPCでも動作できる軽量なLLMを使って遊んでいると、質問ごとにタスク選定の機能が欲しくなります。簡単なタスク分解が軽量モデルでできると（体感）応答速度の向上も期待できるかもしれません。もちろん、それなりのLLMモデルとLangchainを使うと簡単に実…
Web更新の状況をざっと見るために今でもRSSを活用しています。更新の有無を確認してから本文を参照できます。RSS対応サイトの方が私は頻繁に訪問する傾向があります。もしくは、RSSフィードを生成しておけば、Feedyのようなアプリで一元的にチェックできて大…
llama3.2-vision:11bを試してみます。ColabのL4環境です。動作時、VRAM占有割合は11865MiB / 23034MiBでした。このモデルでは、分かりやすい風景や人物の状況は読みとれている回答が生成されました。日本語で質問も英語が混在することありません。意地悪な質…
ArXivで論文を検索して、ざっくりアブストラクトから論文の動向の情報を得て、NotebookLMに投入するところまで作りました。Podcast機能が面白かったので、NotebookLMに投入して調整しなくても、自分の好きな感じでPodcastに出来るようにしました。もちろん、…
先日、副産物で得られた論文のアブスト集をNotebookLMに入れてみたら快適でした。もともとデータセット作成のテストだった*1のですが、使えそうなのでそこだけ切り出します。今回の手順は、 ArXivから任意のキーワードで検索しアブストを入手する。 50000文…
imatrix datasetを使って日本語能力を重視したGGUF変換バージョンのaya-expanse-8b-ggufを試してみます。aya-expanse-8bは、8Bレベルの多言語対応モデルとして高い性能を持ちます。極簡単なテストでの印象では、Q4_K_Mでの量子化を感じさせないモデルでロー…
