結論から言うと、良好な結果は得られなかった。 三国志（司馬遼太郎）は青空文庫からテキスト部分を抜き出して結合処理をする。得られたテキストをColabにuploadする。 bwgift.hatenadiary.jp 以下の小説のストーリーをまとめてください。 （ここに三国志の…

引き続き7Bモデルが出てきたので試してみます。 huggingface.co 日本でお薦めの観光地を5つあげてください。 もちろんです！以下は日本でおすすめの観光地の5つです。 1. 金閣寺（きんかくじ） - 京都にある鹿苑寺の金閣は、豪奢な金閣寺建築で有名で、歴史…

適当な図で読図力を知りたくなって、Googleさんの無料枠をありがたく使い、お試ししました。 題材は「製造業を巡る現状と課題 今後の政策の方向性」としてMETIから発表されたP10の図を使います。 https://www.meti.go.jp/shingikai/sankoshin/seizo_sangyo/p…

仕事で疲れた目にはAyaさん23歳と寝ぼけて見えて、Cohereと結びつかなかったけれども、新しいモデルが出たと聞いて目が覚めた。こちらもお手軽にollamaを使ってお試し。贅沢に35Bを試して見たかったので、ColabでA100を使いました。 まどか☆マギカで一番かわ…

すでに色んな人が試しているけれども、やっぱり自分でも試して見たくで、マイクロソフト製phi3 mediumを試して見ます。お手軽にollamaを使います。 日本で二番目に高い山を検討して答えてください。 富士山が日本で一番高い山なので、それ以外のものを検討す…

RAGの精度を上げるにはデータベースの質だろう・・・ということで、community版にUnstructuredを組み込む。 docker-compose.yamlに追加する。 apiに環境変数を追加 ETL_TYPE: Unstructured UNSTRUCTURED_API_URL: http://unstructured:8000/general/v0/gener…

WSLを使って動作。おそらく、ubuntuなどのLinux全般同じようにできる・・・と思う。 ollamaのdockerでの動かし方： hub.docker.com GPUを利用するならば、GPU周りの設定を実施した後に、以下で起動。 docker run -d --gpus=all -v ollama:/root/.ollama -p 1…

DataPilot-ArrowPro-7B-KUJIRAは、7Bクラスでよい成績をたたき出しているモデル。mmngaさんがさっそくggulfを公開していただいているので、Q4_K_Mで試して見る。もうすっかり皆さんが試しているので、ollamaを使います。 ascii.jp 高校生ということでも話題…

ローカルLLMで遊ぶのにとても便利なollama。Colabでもお試ししたいと思っていたら、ラッパーを見つけました。 github.com ollamaではモデルファイルを定義しておいて、それぞれの言語モデルの設定を行います。この機能が当初なかったので要望を出したら通り…

簡単にローカルでLLMが動かせるollamaとstreamlitを使ったチャットボットを作ってみた。ごくごく基本的なものだけど、作ってみないと感触も分からない。 そこで、 github.com 作ってみた。 確認できたのは、Streamのやり方と、いつ追加になったのか分からな…

弱々環境でもどうにか動いて結構賢そうだったphi3の追加学習したモデルでもう少し遊んでみました。モデル作った方々ありがとうございます。 huggingface.co ggufモデルは、こちらの方が良いようなので、こちらがらモデルをダウンロードしました。 huggingfac…

LOCAL AI HACKATHON #001でPhi-3-miniを鍛えなおしたモデルをためしてみました。 huggingface.co 知識は流石にいまいちの様ですが、サクサク答えてくれます。 与えられた質問に対して英語で思考し、日本語で答えてください。日本で二番目に高い山を検討して…

小説を書かせるローカルモデルであるNinjaを試して見ました。 huggingface.co スクリプトはサンプルそのままで実行してみると・・・。 冒頭はこの調子でいい感じです。 大航海時代に海に出る若き海賊の英雄物語を書いてください。 西暦1500年代、大海原には…