LLM
今更感はあるのだが、LLMのファインチューニングにチャレンジ。ベースのモデルはphi3。なんとなくです。動作確認が目的です。きっとどこかに公開されているだろうと思います。しかし、探せなかったので挑戦しました。 Trainデータは、手ごろのものがなかった…
Gemma2の日本語チューニング版であるezo gemma2 2Bです。楽しみなので、さっそく試して見ました。2BなのでQ8_0を使ってみます。小さなサイズのため限界ありますが、動作も早いし、使いどころは沢山ありそうな高い性能です。楽しい。英語回答の傾向がまだ残っ…
Llama3.1のマージモデルを早速試します。このスピード感。手慣れた感じで期待しつつお試しします。 huggingface.co まどか☆マギカで一番かわいいのは？ まどか☆マギカは、魔法少女もののアニメで、各キャラクターが個性的に可愛いです。特に一番かわいいとい…
Large Enoughと言い切るMistral Largeが発表されました。ご家庭で動かすサイズではないのは重々分かっていますが、ollamaで動くようになったらしいので、無理やりColabで動かします。もちろん、A100環境です。珈琲だけだと時間が持たないので、動画でも見な…
ollamaでmistral-nemoが動くようになったらしいので、お試し。デフォルトだとあまりよろしくなかったので、temperature 0.3の設定を別途入れました。英語になる場面もありましたが、こんな小さなモデルでしっかり答えてくれます。計算もまずまずですし、使い…
Athene-70B-GGUFは日本語もいけるとのことなので、試して見ました。Athene-70B-Q4_K_Mでもかなりつらかったので、ColabのA100を引き当てて動かしました。流石の結果です。70Bは確かにローカルでも動きますが、一般人にはなかなか準備できない環境です。企業…
サイバーエージェント社が発表した商用可能なLLMモデル。 www.cyberagent.co.jp GGUFモデルが早速上がっていますが、まだ十分ではないということ。llama.cppの問題の様ですが、それでも回答はできるようなので、強行してみます。 huggingface.co まどか☆マギ…
Llama3-ArrowSE-8B-v0.3をollamaとcolabでためします。期待もあります。さっそく、mmngaさんが、あっという間にgguf版をアップロードしていらっしゃいますので、ありがたく利用します。Q5_K_Mです。 huggingface.co まずは「まどか☆マギカ」ベンチ。 まどか☆…
「Web小説コーパスでNinja-V2にファインチューニングを行った、新しい小説生成特化型AI」という、Kagemusyaをためします。 huggingface.co お約束で二番目に高い山を聞いてみます。 日本で二番目に高い山を検討して答えてください。 「富士山」正解は「富士…
ELYZAから日本語で鍛えたllama-3ベースのELYZA-JP-8B-q4_k_mが発表された。8BモデルはGPT-3.5-turbo並みを達成しているという。さっそく、ためしてみます。colabで簡単なチャットもやってみました。 huggingface.co 日本で二番目に高い山を検討して答えてく…
GoogleさんのGemma2を試して見ます。当初、ollamaでうまく動かなかったんですが、おおよそFixされたようです。万全かはわかりませんが、それも調整されるでしょう。 huggingface.co 手始めに・・・。 日本で二番目に高い山を検討して答えてください。 日本で…
LLMベースのデータ抽出は意外と不安定で大量に適用するのは、正直怖い。調子に乗ってAPIコールなんかやり続けると、明細が怖い。 ローカルLLMでやってみたらどうなるか、隙間時間でお試し。 qiita.com ollama + gemna2 の環境で実行。 sampleコードを実行さ…
DeepSeek-Coder-V2はMoEのコードモデル。その性能はGPT4-Turboに並ぶとのこと。ollamaでためせるようなので、試して見ました。 試した感想。 ・自然な日本語で回答する。 ・基本的な要約タスクや質問には答える。質問の回答は間違いも多い。 ・計算タスクは…
Vecteus-V2-7BをColabで試します。こちらも期待しつつお試し。 huggingface.co huggingface.co から.f16でお試し。 日本で二番目に高い山を検討して答えてください。 二番目に高い山は富士山より少し低い山ですが、その山は北岳（きただけ）と言います。標高…
ローカルLLMに向き合う会で企画されたGPUサーバリソースを利用して作成されたモデル。期待大なので、まずは動かしてみます。 Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。ベクトルマージ等の技術を活用し作成したMistralベースの70億パラメ…
Googleが公開しているPythonベースのフレームワークMesop。Colabとも相性がよさそう。ollama+oyamaと組み合わせると、ローカルLLMのテストも簡単なのかも、と思ってためしました。 google.github.io Tokenの数のチェックもなしなし、エラー処理はなしで、簡…
優秀なモデルであるQwenが新たに更新されました。これまでのモデルでは、日本語の回答に中国語交じりになったりしてたように思うけれども、日本語対応も気になります。 huggingface.co ollamaでuploadしてある、Qwen2:7bモデルを使います。 まどか☆マギカで…
OllamaをColabで動作させて色んなLLMを試せるようになった。そこでlangchainで使えるのかを試す。gpt3.5-turboやgpt-4以上の性能を持つLLMで使うことの多いライブラリだと思っているが、いろんなモデルで気軽に味見ができるようにColabで試して見る。 phi3-m…
Tanuki-8B-InstructをColabで試して見ました。LLM開発プロジェクト Phase1 結果発表会のご案内で発表されたとのことです。誰でも視聴できたようです。開発している様子が聞けるのは楽しそうです。そもそも、私の様な素人が参加するのは気が引けます。 huggin…
結論から言うと、良好な結果は得られなかった。 三国志（司馬遼太郎）は青空文庫からテキスト部分を抜き出して結合処理をする。得られたテキストをColabにuploadする。 bwgift.hatenadiary.jp 以下の小説のストーリーをまとめてください。 （ここに三国志の…
引き続き7Bモデルが出てきたので試してみます。 huggingface.co 日本でお薦めの観光地を5つあげてください。 もちろんです！以下は日本でおすすめの観光地の5つです。 1. 金閣寺（きんかくじ） - 京都にある鹿苑寺の金閣は、豪奢な金閣寺建築で有名で、歴史…
適当な図で読図力を知りたくなって、Googleさんの無料枠をありがたく使い、お試ししました。 題材は「製造業を巡る現状と課題 今後の政策の方向性」としてMETIから発表されたP10の図を使います。 https://www.meti.go.jp/shingikai/sankoshin/seizo_sangyo/p…
DataPilot-ArrowPro-7B-KUJIRAは、7Bクラスでよい成績をたたき出しているモデル。mmngaさんがさっそくggulfを公開していただいているので、Q4_K_Mで試して見る。もうすっかり皆さんが試しているので、ollamaを使います。 ascii.jp 高校生ということでも話題…
ローカルLLMで遊ぶのにとても便利なollama。Colabでもお試ししたいと思っていたら、ラッパーを見つけました。 github.com ollamaではモデルファイルを定義しておいて、それぞれの言語モデルの設定を行います。この機能が当初なかったので要望を出したら通り…
簡単にローカルでLLMが動かせるollamaとstreamlitを使ったチャットボットを作ってみた。ごくごく基本的なものだけど、作ってみないと感触も分からない。 そこで、 github.com 作ってみた。 確認できたのは、Streamのやり方と、いつ追加になったのか分からな…
弱々環境でもどうにか動いて結構賢そうだったphi3の追加学習したモデルでもう少し遊んでみました。モデル作った方々ありがとうございます。 huggingface.co ggufモデルは、こちらの方が良いようなので、こちらがらモデルをダウンロードしました。 huggingfac…
小説を書かせるローカルモデルであるNinjaを試して見ました。 huggingface.co スクリプトはサンプルそのままで実行してみると・・・。 冒頭はこの調子でいい感じです。 大航海時代に海に出る若き海賊の英雄物語を書いてください。 西暦1500年代、大海原には…
npakaさんの記事を参考にしてRecuurentGemmaを試してみる。 note.com 軽くてサクサク動く。ローカルで十分実用的に感じます。 質問: Create python code for plot stock price trend of APPL and META.答え:```pythonimport matplotlib.pyplot as pltimport …
Mistral7BベースとしたMoEモデルでなかなか流暢な日本語を生成するらしいので試して見ました。ColabでT4でトライしてみました。 モデルはこちら。作者に感謝。 huggingface.co 質問：まどか☆マギカでは誰が一番かわいいか名前と理由を教えてください。 答え…
command-Ｒ-plusが話題なのでcolabでお試し。非商用ライセンス。GPT4並みと言われるが、Q2量子化モデルだと23GBでも動くらしいので、先人の有難いトライを参考にcolabでチャレンジしてみた。colabでのコードは最後にgithubへのリンクで示した。 質問その１ …
