お勉強
Qwen2.5が発表されていました。Qwen2もよかったので順調に進化しているのでしょう。 huggingface.co すでに多くの方がためしていらっしゃるようですが、自分でやります。7bモデルをColabのT4環境でためします。楽しみです。GGUFモデルは、今現在ollamaでは推…
Qwen2の数学特化モデルQwen2-Mathを試して見ます。1.5Bでどこまでできるのか興味があったので、1.5B-Instructモデルを試します。英語しかサポートしていないようですが、Colab中では敢えて日本語の質問も入れ込んでいます。日本語の質問によっては、まともな…
「メモリ容量を増やすことなく、任意の長さのシーケンスを処理」できるというfalcon-manba。頭から食べられそうな名前で怖いです。 huggingface.co というわけで、ColabのL4環境(bfloat16)で試します。システムプロンプトの記述が分かりませんでしたが、入れ…
sakana.aiが発表した「LLMを使って、研究開発プロセスそのものの自動化する」AIサイエンティストは、機械学習の研究開発を自動的に実施します。計算機実験の範囲でできる研究開発はある程度の自動化支援は進むのだろうなと思っていましたが、あっという間に…
Embeddingモデルを使ったテキスト検索は手軽で協力。一方で、キーワード検索と検索式も重要な手法の一つだ。検索結果の説明が楽にできるからだ。特に「ない」ことの証明をするのに、〇〇で検索してもヒットしなかった、という説明がしやすいからだ。というわ…
Gemma2の日本語チューニング版であるezo gemma2 2Bです。楽しみなので、さっそく試して見ました。2BなのでQ8_0を使ってみます。小さなサイズのため限界ありますが、動作も早いし、使いどころは沢山ありそうな高い性能です。楽しい。英語回答の傾向がまだ残っ…
Large Enoughと言い切るMistral Largeが発表されました。ご家庭で動かすサイズではないのは重々分かっていますが、ollamaで動くようになったらしいので、無理やりColabで動かします。もちろん、A100環境です。珈琲だけだと時間が持たないので、動画でも見な…
Athene-70B-GGUFは日本語もいけるとのことなので、試して見ました。Athene-70B-Q4_K_Mでもかなりつらかったので、ColabのA100を引き当てて動かしました。流石の結果です。70Bは確かにローカルでも動きますが、一般人にはなかなか準備できない環境です。企業…
ELYZAから日本語で鍛えたllama-3ベースのELYZA-JP-8B-q4_k_mが発表された。8BモデルはGPT-3.5-turbo並みを達成しているという。さっそく、ためしてみます。colabで簡単なチャットもやってみました。 huggingface.co 日本で二番目に高い山を検討して答えてく…
DeepSeek-Coder-V2はMoEのコードモデル。その性能はGPT4-Turboに並ぶとのこと。ollamaでためせるようなので、試して見ました。 試した感想。 ・自然な日本語で回答する。 ・基本的な要約タスクや質問には答える。質問の回答は間違いも多い。 ・計算タスクは…
Vecteus-V2-7BをColabで試します。こちらも期待しつつお試し。 huggingface.co huggingface.co から.f16でお試し。 日本で二番目に高い山を検討して答えてください。 二番目に高い山は富士山より少し低い山ですが、その山は北岳（きただけ）と言います。標高…
ローカルLLMに向き合う会で企画されたGPUサーバリソースを利用して作成されたモデル。期待大なので、まずは動かしてみます。 Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメ…
なんだか、よさそうなので、oumuamua-v2をためしてみます。ollamaやlangchain、最後にチャット形式で遊んるのをメンドイので一つのcolabの入れ込みました。 huggingface.co ollama.com まどか☆マギカで一番かわいいのは？ 「まどか☆マギカ」に登場するキャラ…
RAGの精度を上げるにはデータベースの質だろう・・・ということで、community版にUnstructuredを組み込む。 docker-compose.yamlに追加する。 apiに環境変数を追加 ETL_TYPE: Unstructured UNSTRUCTURED_API_URL: http://unstructured:8000/general/v0/gener…
WSLを使って動作。おそらく、ubuntuなどのLinux全般同じようにできる・・・と思う。 ollamaのdockerでの動かし方： hub.docker.com GPUを利用するならば、GPU周りの設定を実施した後に、以下で起動。 docker run -d --gpus=all -v ollama:/root/.ollama -p 1…
DataPilot-ArrowPro-7B-KUJIRAは、7Bクラスでよい成績をたたき出しているモデル。mmngaさんがさっそくggulfを公開していただいているので、Q4_K_Mで試して見る。もうすっかり皆さんが試しているので、ollamaを使います。 ascii.jp 高校生ということでも話題…
ローカルLLMで遊ぶのにとても便利なollama。Colabでもお試ししたいと思っていたら、ラッパーを見つけました。 github.com ollamaではモデルファイルを定義しておいて、それぞれの言語モデルの設定を行います。この機能が当初なかったので要望を出したら通り…
弱々環境でもどうにか動いて結構賢そうだったphi3の追加学習したモデルでもう少し遊んでみました。モデル作った方々ありがとうございます。 huggingface.co ggufモデルは、こちらの方が良いようなので、こちらがらモデルをダウンロードしました。 huggingfac…
LOCAL AI HACKATHON #001でPhi-3-miniを鍛えなおしたモデルをためしてみました。 huggingface.co 知識は流石にいまいちの様ですが、サクサク答えてくれます。 与えられた質問に対して英語で思考し、日本語で答えてください。日本で二番目に高い山を検討して…
小説を書かせるローカルモデルであるNinjaを試して見ました。 huggingface.co スクリプトはサンプルそのままで実行してみると・・・。 冒頭はこの調子でいい感じです。 大航海時代に海に出る若き海賊の英雄物語を書いてください。 西暦1500年代、大海原には…
Colab AIさんが提案したコードの元ネタを表示するように・・・。 短く当たり前でかつ他にも類似コードは数多くあるので問題ないだろうと自己責任で進める。でも、こんなコード過去にも沢山見たし、指摘された元ネタ見るとライブラリそのもののgithub。サンプ…
詳しい記事があったので、気になっていたHybrid Searchを試した。 参考記事 www.jiang.jp FAISSと同じだろうと思いつつChromaも評価用のコードに加えました。embeddingモデルはmultilingual-e5-largeを使いました。 from langchain.vectorstores import FAIS…
npakaさんの記事を参考にしてRecuurentGemmaを試してみる。 note.com 軽くてサクサク動く。ローカルで十分実用的に感じます。 質問: Create python code for plot stock price trend of APPL and META.答え:```pythonimport matplotlib.pyplot as pltimport …
Mistral7BベースとしたMoEモデルでなかなか流暢な日本語を生成するらしいので試して見ました。ColabでT4でトライしてみました。 モデルはこちら。作者に感謝。 huggingface.co 質問：まどか☆マギカでは誰が一番かわいいか名前と理由を教えてください。 答え…
Qwenの新しいモデルQwen1.5-MoE-A2.7Bを試して見ました。少し期待しつつ・・・。 モデルのページはこちら。 huggingface.co 質問：日本で２番目に高い山は？日本で2番目に高い山は富士山です。 なかなか正解は難しい。 質問：日本の観光地でおススメを教えて…
RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。 Colab T4環境で動かしてみた。 gist.github.com 以下のやり取りで、Wall timeで2.78s。 問い：日本の有名な観光地と名物は？詳しく…
楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。 huggingface.co さっそく試して見ました。 まどか☆マギカで一番かわいいのは？ まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好み…
オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。 huggingface.co npakaさんの記事を見ながらColabで構築します。 note.com gist.github.com ColabのGPU T4で動かせるようなのでT4…
WSL2でcuda周りと思われるエラー。libcuda.so.1 is not a symbolic linkと。realなファイルでsymbolic linkじゃないと叱られる。 github.com /etc/wsl.confにautomount項目に記述を追加。 echo -e "[automount]\nldconfig = false" | sudo tee -a /etc/wsl.c…
LLMのモデルをマージするのが流行っているらしい。そこで、nitky/Superswallow-7b-v0.1というモデルを試して見た。7Bなので、Colabの無料枠で実行できるかも・・・と思ってチャレンジ。 モデルはこちら。作成者に感謝。 huggingface.co 使ったColabはこちら…
