ドキュメント変換ツールとしてPandocは非常に便利だ。LLMとの組み合わせではmarkdown形式で文章を生成させておいて、パワーポイントにしたりするという使い方は便利すぎる。環境構築が意外とメンドイのでdockerを利用して、どこでも使える様にしておきたい。…

ELYZAから日本語で鍛えたllama-3ベースのELYZA-JP-8B-q4_k_mが発表された。8BモデルはGPT-3.5-turbo並みを達成しているという。さっそく、ためしてみます。colabで簡単なチャットもやってみました。 huggingface.co 日本で二番目に高い山を検討して答えてく…

GoogleさんのGemma2を試して見ます。当初、ollamaでうまく動かなかったんですが、おおよそFixされたようです。万全かはわかりませんが、それも調整されるでしょう。 huggingface.co 手始めに・・・。 日本で二番目に高い山を検討して答えてください。 日本で…

LLMベースのデータ抽出は意外と不安定で大量に適用するのは、正直怖い。調子に乗ってAPIコールなんかやり続けると、明細が怖い。 ローカルLLMでやってみたらどうなるか、隙間時間でお試し。 qiita.com ollama + gemna2 の環境で実行。 sampleコードを実行さ…

DeepSeek-Coder-V2はMoEのコードモデル。その性能はGPT4-Turboに並ぶとのこと。ollamaでためせるようなので、試して見ました。 試した感想。 ・自然な日本語で回答する。 ・基本的な要約タスクや質問には答える。質問の回答は間違いも多い。 ・計算タスクは…

Vecteus-V2-7BをColabで試します。こちらも期待しつつお試し。 huggingface.co huggingface.co から.f16でお試し。 日本で二番目に高い山を検討して答えてください。 二番目に高い山は富士山より少し低い山ですが、その山は北岳（きただけ）と言います。標高…

ローカルLLMに向き合う会で企画されたGPUサーバリソースを利用して作成されたモデル。期待大なので、まずは動かしてみます。 Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメ…

なんだか、よさそうなので、oumuamua-v2をためしてみます。ollamaやlangchain、最後にチャット形式で遊んるのをメンドイので一つのcolabの入れ込みました。 huggingface.co ollama.com まどか☆マギカで一番かわいいのは？ 「まどか☆マギカ」に登場するキャラ…

Googleが公開しているPythonベースのフレームワークMesop。Colabとも相性がよさそう。ollama+oyamaと組み合わせると、ローカルLLMのテストも簡単なのかも、と思ってためしました。 google.github.io Tokenの数のチェックもなしなし、エラー処理はなしで、簡…

優秀なモデルであるQwenが新たに更新されました。これまでのモデルでは、日本語の回答に中国語交じりになったりしてたように思うけれども、日本語対応も気になります。 huggingface.co ollamaでuploadしてある、Qwen2:7bモデルを使います。 まどか☆マギカで…

OllamaをColabで動作させて色んなLLMを試せるようになった。そこでlangchainで使えるのかを試す。gpt3.5-turboやgpt-4以上の性能を持つLLMで使うことの多いライブラリだと思っているが、いろんなモデルで気軽に味見ができるようにColabで試して見る。 phi3-m…

Tanuki-8B-InstructをColabで試して見ました。LLM開発プロジェクト Phase1 結果発表会のご案内で発表されたとのことです。誰でも視聴できたようです。開発している様子が聞けるのは楽しそうです。そもそも、私の様な素人が参加するのは気が引けます。 huggin…

CodestralはMistralによるcoding用LLMです。 mistral.ai わざと、ざっくりした質問を日本語で投げます。 APPLの株価を予測。 I'm not capable of predicting stock prices as it involves a complex analysis that goes beyond my capabilities. However, I …