2023-01-01から1年間の記事一覧
GGUF version の rinna/nekomata-7b-instructionをColabでお試ししました。 huggingface.co さっそく、colaboratoryで・・・。 github.com 結果。要約はもうちょっと頑張って欲しい気がしますが、7Bモデルでかつ量子化モデルがどんどん実用的になってきた感…
日本語に強いLlama2ベースのモデル。 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える | 東工大ニュース | 東京工業大学 細かい工夫を積み重ねていて期待できそう。しかも、7Bモデルはcolabで動かせそうなので…
ローカルPCで音声認識を使ってテキスト入力をさせてみようと思い立って、colaboratoryでテスト。いまさらながら・・・だけれども、やってみました。 参考サイト： faster-whisperでwhisper large-v3を動かしてみよう！ github.com 実行速度を比べてみる。GPU…
OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…
OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…
OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組…
特に工夫することもなく、Colabで動作。簡単に試して見ました。 github.com 扱える文字数も多いし、7Bでコンパクト。速度もまずまず出そう。個人でも色々と試して見ることができるのは嬉しいし楽しい。youriといい、calm2といい、日本語のLLMが楽しくなって…
rinna.co.jp なんだか、凄そうな予感しかしないので、試して見ました。工夫することももなく、さくっと動作しました・・・。 github.com とりあえず、さくっと試して見ましたが・・・。7Bでこの性能まで来たのか・・・。 ### 入力:まどマギで一番かわいいの…
ELYZA-japanese-Llama-2-7b-instructも楽しそうなので動かしてみる。さほど工夫もなく、そこそこの速度が出る。 Q. 関羽を知っていますか？ A. はい、知っています。関羽は、中国の三国志時代の武将です。呉の主要な武将の一人で、呉の国力の増強に大きく貢…
CodeLlamaを試して見たくて、Colabで7BのPythonモデルを動かしてみる。プロンプトは、プログラムの時にコメントを書く要領で良いようなので、以下のように与えてみた。 プロンプト import openai # Function that response user inputed text. 結果 import o…
さっそく、LINE社が発表したinstructionモデルをColabで動かした。 huggingface.co パラメータは、Huggin Faceにのっていたものをそのまま採用。temperature=1.0すると、いまいちだったので、まずは、素直に公式を参考にする。 github.com レスポンスを見て…
気軽に自分の（非力な）PCで動かせないかと、Vicuna_7bをLangChainで活用できないかと、Webの記事を参考に試行錯誤。Colabの無料プランの範囲でどうにかなるなら自分のPCでも動く可能性があるかもしれない。 で、やっては見たものの、ループしたり、プロンプ…
日本語言語モデルが各社から発表されている。LINE社から発表になった日本語モデルを試してみる。時々、実在しているっぽい固有名詞が出てきたりと、学習データの残骸？のようなものが出てくる。やっぱし、お金をかけて丁寧な学習データを作成して公開するこ…
評判のJapanese StableLM Alphaを試したくてColabの無料枠で動かしてみました。npakaさんのサイトを参考にしました。 note.com 動作させた結果です。 github.com 参考にしたnpakaさんの質問 質問：まどか☆マギカでは誰が一番かわいい？ 答え：1. キュゥべえ2…
LangchainのPlan and executeを試してみた。 BabyAGI からヒントを得て実装した、タスク立案→実行の流れで自律的に動作をする。題材として、トヨタ自動車のSWOT分析をさせてみる。 検索エンジンはSerpでなくDuckDuckGoにした。試行錯誤するとあっという間にS…
Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…
langchainをつかって、chatbotを作ってみる。色々と先人の資料を参考にして作ってみた。単にやり取りだけなら詰まらないので、必要な時に検索して返答するようにした。非常に簡単。 むしろ、コツがいるのはstreamlit。会話を覚えてもらわらないと系内部分。s…
骨伝導イヤホン：AVIOT WB-P1。今度は電源が入らなくなった。つまり、電源ボダン＝音量＋ボタンの反応がなくなった。ONもOFFもできなくなって・・・。数日試行錯誤。 一週間後。ボタンに反応あり。電源が入る。壊れやすいので、主に室内で使っていたし、もし…
chatbot同士の会話の様に、キャラクターを付けて会話をLLMにさせるとどうなるのか。実験してみました。 司会役、前向きに考える役A、批判的に考える役B、を設定してお互いに会話をさせてみました。初めに司会役を設定せずに会話をさせると、あまり盛り上がら…
BabyAGI is an attempt to autonomously perform tasks while being composed of simple code. Therefore, even those who are not proficient in programming can easily run and enjoy it. BabyCatAGI seemed to be useful for some quick research. I inc…
情報収集にRSSは便利。RSS対応が標準になればうれしいのだが、むしろ減ってきている気がする。スクレイピングされるよりもよっぽど良いんじゃないかと思う。 そこで、RSS feedを実現してくれるのがこちら。キャッシュも効くので、先方の負荷も抑えられる。 g…
BabyAGIが面白かったので引き続き遊んでみる。 bwgift.hatenadiary.jp 英語と日本語を自由に切り替えて実行したい。日本語と英語を切り替えられるようにチャレンジ。そこで、日本語を指定していできるようにpromptとtoken数を調整。問題はToken数。日本語だ…
GPTモデルの使い方を学ぶ。 bwgift.hatenadiary.jp 引き続き、ちまちまと実験しつつ手を入れた。Agentのプロンプトもコツが要って難しい。説明不足でもダメだけど、シンプルに伝わらないと、意図する動作をしてくれない。なんとなく、使えそうなものが出来た…
大規模言語モデル(LLM)を色々とタスクを解決させることができる。思い通りに動かすには結構大変だ。 ド素人ながら、LangChainを使うと簡単に機能を盛り込むことができる。大変便利だ。しかし、色々と自分で勉強しようとプロンプトを弄ったりすると整合性が保…
spaCyからLLMを使えるように実装が始まっている。どんどんお気軽に使える様になってきてうれしい。 github.com とりあえず、簡単なテスト。 github.com FewShot学習も対応しているけれども、日本語はこれからの模様。こういう動きになると益々プロンプトエン…
映画を見ていると、同じカテゴリーの映画をもっと見てみたいと思うこともしばしば。キーワード検索なら通常の検索で見つけることはできるけれども、ほわっとした問いにうまく答えてくれる（かもしれない）技術が大規模言語モデルを使った回答だと思う。 そこ…
さっそく試してみる。 ja.stability.ai StableVicuna by CarperAICarperAI/stable-vicuna-13b-delta こちらで試してみました。 StableVicuna - a Hugging Face Space by CarperAI 目次 目次 題材（青空文庫、寺田寅彦作、映画雑感より「家なき児」をまとめる…
さっそく試してみる。 ja.stability.ai StableVicuna by CarperAICarperAI/stable-vicuna-13b-delta こちらで試してみました。 StableVicuna - a Hugging Face Space by CarperAI 目次 目次 題材（青空文庫、寺田寅彦作、映画雑感より「家なき児」をまとめる…
自律的にタスクを遂行するautoGPT。GPTモデルを利用することで、課題からタスクを抽出・調査を行う意欲的な実験が進んでいます。OpenAIのAPIを使うので、自分のPCのスペックが少なくても問題なし。そこでチャレンジしてみました。 こちらを参考にしました。 …
Chat GPTで、おしゃべりも楽しいけれども、実用的に考えれば根拠のある回答ができるようが良い。そこで、PDFドキュメントを使った対話が可能だというのでお試しした。 qiita.com こちらを参考にさせていただきつつ、colabで動かしてみた。題材は、題材は産総…
