IT
gemma-2-2b-jpnが公開されました。すでに多くの方が味見していますが、やっぱり自分でも試してみないことには、はじまりません。 blog.google あっという間にOllamaでも動かせるものがアップロードされていました。早すぎます。感謝です。こちらを利用します…
Llama-3.2が発表されました。LLMLlama-3.2-1B-Instructは小型のモデルでローカルで気軽に動作できそうです。ファインチューニングして遊んでみます。本格的なチューニングは専門家にお任せするとして、どんな感じなんだろう・・・と動かすのが狙いです。ロー…
ローカルでも稼働できる軽量で人にやさしい印象のある日本語得意なモデルが出てきています。最近ではTanukiが開発されたことは、とても印象深いです。今でも、OpenAIやGoogleのモデルを使って数を処理するのは、コスト的に大変で一般人のお小遣いレベルでは…
Gemma2は小型ながら高性能。その後も色んな方がGemma2ベースにモデルを公開されています。ollamaで公開されているモデルをColab T4環境でトライしてみました。 ollama.com 9b-instruct-q4_K_MモデルをT4で実施。英語優先の印象はありますが、生成速度も速く…
ELYZAから日本語で鍛えたllama-3ベースのELYZA-JP-8B-q4_k_mが発表された。8BモデルはGPT-3.5-turbo並みを達成しているという。さっそく、ためしてみます。colabで簡単なチャットもやってみました。 huggingface.co 日本で二番目に高い山を検討して答えてく…
Vecteus-V2-7BをColabで試します。こちらも期待しつつお試し。 huggingface.co huggingface.co から.f16でお試し。 日本で二番目に高い山を検討して答えてください。 二番目に高い山は富士山より少し低い山ですが、その山は北岳（きただけ）と言います。標高…
ローカルLLMに向き合う会で企画されたGPUサーバリソースを利用して作成されたモデル。期待大なので、まずは動かしてみます。 Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメ…
なんだか、よさそうなので、oumuamua-v2をためしてみます。ollamaやlangchain、最後にチャット形式で遊んるのをメンドイので一つのcolabの入れ込みました。 huggingface.co ollama.com まどか☆マギカで一番かわいいのは？ 「まどか☆マギカ」に登場するキャラ…
Googleが公開しているPythonベースのフレームワークMesop。Colabとも相性がよさそう。ollama+oyamaと組み合わせると、ローカルLLMのテストも簡単なのかも、と思ってためしました。 google.github.io Tokenの数のチェックもなしなし、エラー処理はなしで、簡…
優秀なモデルであるQwenが新たに更新されました。これまでのモデルでは、日本語の回答に中国語交じりになったりしてたように思うけれども、日本語対応も気になります。 huggingface.co ollamaでuploadしてある、Qwen2:7bモデルを使います。 まどか☆マギカで…
OllamaをColabで動作させて色んなLLMを試せるようになった。そこでlangchainで使えるのかを試す。gpt3.5-turboやgpt-4以上の性能を持つLLMで使うことの多いライブラリだと思っているが、いろんなモデルで気軽に味見ができるようにColabで試して見る。 phi3-m…
Tanuki-8B-InstructをColabで試して見ました。LLM開発プロジェクト Phase1 結果発表会のご案内で発表されたとのことです。誰でも視聴できたようです。開発している様子が聞けるのは楽しそうです。そもそも、私の様な素人が参加するのは気が引けます。 huggin…
CodestralはMistralによるcoding用LLMです。 mistral.ai わざと、ざっくりした質問を日本語で投げます。 APPLの株価を予測。 I'm not capable of predicting stock prices as it involves a complex analysis that goes beyond my capabilities. However, I …
結論から言うと、良好な結果は得られなかった。 三国志（司馬遼太郎）は青空文庫からテキスト部分を抜き出して結合処理をする。得られたテキストをColabにuploadする。 bwgift.hatenadiary.jp 以下の小説のストーリーをまとめてください。 （ここに三国志の…
引き続き7Bモデルが出てきたので試してみます。 huggingface.co 日本でお薦めの観光地を5つあげてください。 もちろんです！以下は日本でおすすめの観光地の5つです。 1. 金閣寺（きんかくじ） - 京都にある鹿苑寺の金閣は、豪奢な金閣寺建築で有名で、歴史…
すでに色んな人が試しているけれども、やっぱり自分でも試して見たくで、マイクロソフト製phi3 mediumを試して見ます。お手軽にollamaを使います。 日本で二番目に高い山を検討して答えてください。 富士山が日本で一番高い山なので、それ以外のものを検討す…
RAGの精度を上げるにはデータベースの質だろう・・・ということで、community版にUnstructuredを組み込む。 docker-compose.yamlに追加する。 apiに環境変数を追加 ETL_TYPE: Unstructured UNSTRUCTURED_API_URL: http://unstructured:8000/general/v0/gener…
ローカルLLMで遊ぶのにとても便利なollama。Colabでもお試ししたいと思っていたら、ラッパーを見つけました。 github.com ollamaではモデルファイルを定義しておいて、それぞれの言語モデルの設定を行います。この機能が当初なかったので要望を出したら通り…
簡単にローカルでLLMが動かせるollamaとstreamlitを使ったチャットボットを作ってみた。ごくごく基本的なものだけど、作ってみないと感触も分からない。 そこで、 github.com 作ってみた。 確認できたのは、Streamのやり方と、いつ追加になったのか分からな…
弱々環境でもどうにか動いて結構賢そうだったphi3の追加学習したモデルでもう少し遊んでみました。モデル作った方々ありがとうございます。 huggingface.co ggufモデルは、こちらの方が良いようなので、こちらがらモデルをダウンロードしました。 huggingfac…
Colab AIさんが提案したコードの元ネタを表示するように・・・。 短く当たり前でかつ他にも類似コードは数多くあるので問題ないだろうと自己責任で進める。でも、こんなコード過去にも沢山見たし、指摘された元ネタ見るとライブラリそのもののgithub。サンプ…
詳しい記事があったので、気になっていたHybrid Searchを試した。 参考記事 www.jiang.jp FAISSと同じだろうと思いつつChromaも評価用のコードに加えました。embeddingモデルはmultilingual-e5-largeを使いました。 from langchain.vectorstores import FAIS…
npakaさんの記事を参考にしてRecuurentGemmaを試してみる。 note.com 軽くてサクサク動く。ローカルで十分実用的に感じます。 質問: Create python code for plot stock price trend of APPL and META.答え:```pythonimport matplotlib.pyplot as pltimport …
Mistral7BベースとしたMoEモデルでなかなか流暢な日本語を生成するらしいので試して見ました。ColabでT4でトライしてみました。 モデルはこちら。作者に感謝。 huggingface.co 質問：まどか☆マギカでは誰が一番かわいいか名前と理由を教えてください。 答え…
command-Ｒ-plusが話題なのでcolabでお試し。非商用ライセンス。GPT4並みと言われるが、Q2量子化モデルだと23GBでも動くらしいので、先人の有難いトライを参考にcolabでチャレンジしてみた。colabでのコードは最後にgithubへのリンクで示した。 質問その１ …
RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。 Colab T4環境で動かしてみた。 gist.github.com 以下のやり取りで、Wall timeで2.78s。 問い：日本の有名な観光地と名物は？詳しく…
楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。 huggingface.co さっそく試して見ました。 まどか☆マギカで一番かわいいのは？ まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好み…
RWKVは、RNNとTransformerを組み合わせた推論が軽いという。継続して学習させているというので、時々チェックしていた。Eagle 7Bというモデルが出たので試してみる。翻訳性能も高くなっていて期待しつつ。 blog.rwkv.com というわけで、colabのメモリup＋GPU…
オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。 huggingface.co npakaさんの記事を見ながらColabで構築します。 note.com gist.github.com ColabのGPU T4で動かせるようなのでT4…
Tinyllamaをお気軽に量産？できる、infinite-tinyllamaをcolabで動作させてみました。ファインチューニングがお手軽にできると、きっと楽しくなるのだろうと思ってローカルで動かそうとしたのだが、何かとめんどくさいのでColabで動かしてみた。 github.com …
