地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

お勉強

RakutenAI-7B-instruct-q4_K_M_ggufを試して見る。

RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。 Colab T4環境で動かしてみた。 gist.github.com 以下のやり取りで、Wall timeで2.78s。 問い:日本の有名な観光地と名物は?詳しく…

RakutenAI-7Bを試してみる。

楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。 huggingface.co さっそく試して見ました。 まどか☆マギカで一番かわいいのは? まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好み…

Swallow-MS-7b-v0.1を試してみる。

オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。 huggingface.co npakaさんの記事を見ながらColabで構築します。 note.com gist.github.com ColabのGPU T4で動かせるようなのでT4…

wsl2とcuda: libcuda.so.1 is not a symbolic link

WSL2でcuda周りと思われるエラー。libcuda.so.1 is not a symbolic linkと。realなファイルでsymbolic linkじゃないと叱られる。 github.com /etc/wsl.confにautomount項目に記述を追加。 echo -e "[automount]\nldconfig = false" | sudo tee -a /etc/wsl.c…

nitky/Superswallow-7b-v0.1を試してみる。

LLMのモデルをマージするのが流行っているらしい。そこで、nitky/Superswallow-7b-v0.1というモデルを試して見た。7Bなので、Colabの無料枠で実行できるかも・・・と思ってチャレンジ。 モデルはこちら。作成者に感謝。 huggingface.co 使ったColabはこちら…

vLLMでQweb_7b_chat_AWQを試す

バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。 github.com vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を2度実行するとエラー…

GGUF version の rinna/nekomata-7b-instructionをColabでお試し

GGUF version の rinna/nekomata-7b-instructionをColabでお試ししました。 huggingface.co さっそく、colaboratoryで・・・。 github.com 結果。要約はもうちょっと頑張って欲しい気がしますが、7Bモデルでかつ量子化モデルがどんどん実用的になってきた感…

Swallow-7bを試す。

日本語に強いLlama2ベースのモデル。 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える | 東工大ニュース | 東京工業大学 細かい工夫を積み重ねていて期待できそう。しかも、7Bモデルはcolabで動かせそうなので…

いまさらながらwhisperで音声認識

ローカルPCで音声認識を使ってテキスト入力をさせてみようと思い立って、colaboratoryでテスト。いまさらながら・・・だけれども、やってみました。 参考サイト: faster-whisperでwhisper large-v3を動かしてみよう! github.com 実行速度を比べてみる。GPU…

Open InterpreterをLocal MMLで

OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…

cyberagent-calm2-7b-chat-GPTQ-calib-ja-1kを試して見る

特に工夫することもなく、Colabで動作。簡単に試して見ました。 github.com 扱える文字数も多いし、7Bでコンパクト。速度もまずまず出そう。個人でも色々と試して見ることができるのは嬉しいし楽しい。youriといい、calm2といい、日本語のLLMが楽しくなって…

youri-7b-instruction-gptqを試して見る

rinna.co.jp なんだか、凄そうな予感しかしないので、試して見ました。工夫することももなく、さくっと動作しました・・・。 github.com とりあえず、さくっと試して見ましたが・・・。7Bでこの性能まで来たのか・・・。 ### 入力:まどマギで一番かわいいの…

ELYZA-japanese-Llama-2-7b-instructを動かしてみる。

ELYZA-japanese-Llama-2-7b-instructも楽しそうなので動かしてみる。さほど工夫もなく、そこそこの速度が出る。 Q. 関羽を知っていますか? A. はい、知っています。関羽は、中国の三国志時代の武将です。呉の主要な武将の一人で、呉の国力の増強に大きく貢…

Code Llama 7B Pythonを試す。

CodeLlamaを試して見たくて、Colabで7BのPythonモデルを動かしてみる。プロンプトは、プログラムの時にコメントを書く要領で良いようなので、以下のように与えてみた。 プロンプト import openai # Function that response user inputed text. 結果 import o…

LINEのLineModell_japanese_large_lm_3_6b_instruction_sfを試してみる。

さっそく、LINE社が発表したinstructionモデルをColabで動かした。 huggingface.co パラメータは、Huggin Faceにのっていたものをそのまま採用。temperature=1.0すると、いまいちだったので、まずは、素直に公式を参考にする。 github.com レスポンスを見て…

LangChainでVicuna_7b_v1_5を頑張ってみる。

気軽に自分の(非力な)PCで動かせないかと、Vicuna_7bをLangChainで活用できないかと、Webの記事を参考に試行錯誤。Colabの無料プランの範囲でどうにかなるなら自分のPCでも動く可能性があるかもしれない。 で、やっては見たものの、ループしたり、プロンプ…

LINEによる36億パラメータの日本語言語モデルを試したよ。

日本語言語モデルが各社から発表されている。LINE社から発表になった日本語モデルを試してみる。時々、実在しているっぽい固有名詞が出てきたりと、学習データの残骸?のようなものが出てくる。やっぱし、お金をかけて丁寧な学習データを作成して公開するこ…

Colab(無料範囲枠で)japanese-stablelm-instruct-alpha-7bを試してみる。

評判のJapanese StableLM Alphaを試したくてColabの無料枠で動かしてみました。npakaさんのサイトを参考にしました。 note.com 動作させた結果です。 github.com 参考にしたnpakaさんの質問 質問:まどか☆マギカでは誰が一番かわいい? 答え:1. キュゥべえ2…

Langchain, plan and executeを試す。

LangchainのPlan and executeを試してみた。 BabyAGI からヒントを得て実装した、タスク立案→実行の流れで自律的に動作をする。題材として、トヨタ自動車のSWOT分析をさせてみる。 検索エンジンはSerpでなくDuckDuckGoにした。試行錯誤するとあっという間にS…

LLaMa2をllma2_13b_chat_ggmlv3で試してみる。

Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…

Langchainでchatbotを作ってみる

langchainをつかって、chatbotを作ってみる。色々と先人の資料を参考にして作ってみた。単にやり取りだけなら詰まらないので、必要な時に検索して返答するようにした。非常に簡単。 むしろ、コツがいるのはstreamlit。会話を覚えてもらわらないと系内部分。s…

gpt-3.5-turbo で異なる役割で会話させてみる。#01

chatbot同士の会話の様に、キャラクターを付けて会話をLLMにさせるとどうなるのか。実験してみました。 司会役、前向きに考える役A、批判的に考える役B、を設定してお互いに会話をさせてみました。初めに司会役を設定せずに会話をさせると、あまり盛り上がら…

BabyAGIでLLMを学ぶ #2

GPTモデルの使い方を学ぶ。 bwgift.hatenadiary.jp 引き続き、ちまちまと実験しつつ手を入れた。Agentのプロンプトもコツが要って難しい。説明不足でもダメだけど、シンプルに伝わらないと、意図する動作をしてくれない。なんとなく、使えそうなものが出来た…

BabyAGIでLLMの使い方を学ぶ

大規模言語モデル(LLM)を色々とタスクを解決させることができる。思い通りに動かすには結構大変だ。 ド素人ながら、LangChainを使うと簡単に機能を盛り込むことができる。大変便利だ。しかし、色々と自分で勉強しようとプロンプトを弄ったりすると整合性が保…

StableVicuna(2023/05/15時点)を試す #StableVicuna

さっそく試してみる。 ja.stability.ai StableVicuna by CarperAICarperAI/stable-vicuna-13b-delta こちらで試してみました。 StableVicuna - a Hugging Face Space by CarperAI 目次 目次 題材(青空文庫、寺田寅彦作、映画雑感より「家なき児」をまとめる…

autoGPTで調べものに挑戦。モビルスーツでどれが一番強いか!?

自律的にタスクを遂行するautoGPT。GPTモデルを利用することで、課題からタスクを抽出・調査を行う意欲的な実験が進んでいます。OpenAIのAPIを使うので、自分のPCのスペックが少なくても問題なし。そこでチャレンジしてみました。 こちらを参考にしました。 …

PDFを使ってQ&Aをさせてみたい。(gpt-3.5-turbo+LangChain)

Chat GPTで、おしゃべりも楽しいけれども、実用的に考えれば根拠のある回答ができるようが良い。そこで、PDFドキュメントを使った対話が可能だというのでお試しした。 qiita.com こちらを参考にさせていただきつつ、colabで動かしてみた。題材は、題材は産総…

BabyAGIで少子化対策を・・・。

自立エージェントのBabyAGIをお試し。コストの都合上、GPT-3.5-Turboで進めます。 note.com いつも、拝見しています。 ※Googleさんに翻訳してもらっています。 *****目的***** 日本の少子化問題を解決するための政策を提案してください。 初期タスク: タスク…

dolly-japanese-gpt-1bを試してみる。

rinna社の「japanese-gpt-1b」を、日本語データセット「databricks-dolly-15k-ja」を使用して学習させたDolly-Japanese-GPT-1Bモデルを試してみる。今はすっかりGPT-3が話題ですが、GPT-2相当のモデルでどこまでできるのだろうとcolaboratoryで動作させてみ…

ChatGPTとGPT4、Claude-instant、Claude、Sageでアムロとシャアに会話させてみた。

OpenAIのChatGPTばかり話題になるが、他の会社も頑張っている。Poeサービスを使って、3つのモデルでアムロとシャアに降臨して頂き会話をしていただいた。 プロンプトを作成し、以下のセリフからの続きを生成してもらった。参考にさせていただいたサイトは文…