機械学習
オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。 huggingface.co npakaさんの記事を見ながらColabで構築します。 note.com gist.github.com ColabのGPU T4で動かせるようなのでT4…
Tinyllamaをお気軽に量産？できる、infinite-tinyllamaをcolabで動作させてみました。ファインチューニングがお手軽にできると、きっと楽しくなるのだろうと思ってローカルで動かそうとしたのだが、何かとめんどくさいのでColabで動かしてみた。 github.com …
Googleが発表したGemma。2Bモデルをファインチューニングをサンプルコードを使ってやってみました。せっかくなので、データセットを日本語databricks-dolly-15k-jaを使ってみます。Kaggleからモデルをダウンロードするので、対応する部分を整備して実行。 gi…
生成テキストに繰り返しが頻繁に行われるので、パラメータの影響かもしれないと思って弄っていた。 bwgift.hatenadiary.jp しかし、model cardにしっかり追記されてた。そこで改めてトライ。 github.com 生成される回答がかなりしっかりに。他の生成テキスト…
LLMのモデルをマージするのが流行っているらしい。そこで、nitky/Superswallow-7b-v0.1というモデルを試して見た。7Bなので、Colabの無料枠で実行できるかも・・・と思ってチャレンジ。 モデルはこちら。作成者に感謝。 huggingface.co 使ったColabはこちら…
さっそく、LINE社が発表したinstructionモデルをColabで動かした。 huggingface.co パラメータは、Huggin Faceにのっていたものをそのまま採用。temperature=1.0すると、いまいちだったので、まずは、素直に公式を参考にする。 github.com レスポンスを見て…
気軽に自分の（非力な）PCで動かせないかと、Vicuna_7bをLangChainで活用できないかと、Webの記事を参考に試行錯誤。Colabの無料プランの範囲でどうにかなるなら自分のPCでも動く可能性があるかもしれない。 で、やっては見たものの、ループしたり、プロンプ…
評判のJapanese StableLM Alphaを試したくてColabの無料枠で動かしてみました。npakaさんのサイトを参考にしました。 note.com 動作させた結果です。 github.com 参考にしたnpakaさんの質問 質問：まどか☆マギカでは誰が一番かわいい？ 答え：1. キュゥべえ2…
chatbot同士の会話の様に、キャラクターを付けて会話をLLMにさせるとどうなるのか。実験してみました。 司会役、前向きに考える役A、批判的に考える役B、を設定してお互いに会話をさせてみました。初めに司会役を設定せずに会話をさせると、あまり盛り上がら…
GPTモデルの使い方を学ぶ。 bwgift.hatenadiary.jp 引き続き、ちまちまと実験しつつ手を入れた。Agentのプロンプトもコツが要って難しい。説明不足でもダメだけど、シンプルに伝わらないと、意図する動作をしてくれない。なんとなく、使えそうなものが出来た…
大規模言語モデル(LLM)を色々とタスクを解決させることができる。思い通りに動かすには結構大変だ。 ド素人ながら、LangChainを使うと簡単に機能を盛り込むことができる。大変便利だ。しかし、色々と自分で勉強しようとプロンプトを弄ったりすると整合性が保…
spaCyからLLMを使えるように実装が始まっている。どんどんお気軽に使える様になってきてうれしい。 github.com とりあえず、簡単なテスト。 github.com FewShot学習も対応しているけれども、日本語はこれからの模様。こういう動きになると益々プロンプトエン…
さっそく試してみる。 ja.stability.ai StableVicuna by CarperAICarperAI/stable-vicuna-13b-delta こちらで試してみました。 StableVicuna - a Hugging Face Space by CarperAI 目次 目次 題材（青空文庫、寺田寅彦作、映画雑感より「家なき児」をまとめる…
自律的にタスクを遂行するautoGPT。GPTモデルを利用することで、課題からタスクを抽出・調査を行う意欲的な実験が進んでいます。OpenAIのAPIを使うので、自分のPCのスペックが少なくても問題なし。そこでチャレンジしてみました。 こちらを参考にしました。 …
Chat GPTで、おしゃべりも楽しいけれども、実用的に考えれば根拠のある回答ができるようが良い。そこで、PDFドキュメントを使った対話が可能だというのでお試しした。 qiita.com こちらを参考にさせていただきつつ、colabで動かしてみた。題材は、題材は産総…
自立エージェントのBabyAGIをお試し。コストの都合上、GPT-3.5-Turboで進めます。 note.com いつも、拝見しています。 ※Googleさんに翻訳してもらっています。 *****目的***** 日本の少子化問題を解決するための政策を提案してください。 初期タスク: タスク…
rinna社の「japanese-gpt-1b」を、日本語データセット「databricks-dolly-15k-ja」を使用して学習させたDolly-Japanese-GPT-1Bモデルを試してみる。今はすっかりGPT-3が話題ですが、GPT-2相当のモデルでどこまでできるのだろうとcolaboratoryで動作させてみ…
OpenAIのChatGPTばかり話題になるが、他の会社も頑張っている。Poeサービスを使って、３つのモデルでアムロとシャアに降臨して頂き会話をしていただいた。 プロンプトを作成し、以下のセリフからの続きを生成してもらった。参考にさせていただいたサイトは文…
色々と纏めさせたり、コード書くのを手伝ったもらったりと、大変便利なOpenAIのGPT。気軽なお遊びはやっぱり、音声でのキャラクター会話だろうとおもって試してみた。 こちらでいい記事を発見！ zenn.dev こちらのコードを元（fork）して手を加えてみた。 ・…
すっかり話題の巨大言語モデル。OpenAIのchatGPTなら個人が使える価格帯だし、ぼちぼち使ってみたい。そこで、colabでトライしてみた。 whipserで音声認識。chatGPTで返答を作成したらVOICEVOXで音声とする。色んな人が同じような手順でやっているので参考に…
超大規模モデルが世間を圧倒させている。それをAPIで使うってのも面白そう。しかし、お手軽に使うとなると・・・。悔しいので、colabでできる自然言語処理のお勉強を進めることにする。今回は、固有表現抽出用にelectraのファインチューニングをお手軽にでき…
自然な会話ができるChatGPTが話題ですが、SODA*1という、データセットで学習させたCOSMOというモデルがなかな優秀だというのをtwitterで見かけたので試してみる。 github.com 会話の状況は「最後の一葉」を参考にして投入した。 instructionは不要らしいが、…
No Language Left Behind: NLLBでのモデルが公開された。どんな言語でもWeb上の情報を母国語でコミュニケーションできるようにという翻訳AIプロジェクト。 No Language Left Behind: A model from NLLB is released. A translation AI project that allows a…
簡単に自然言語処理にトライできるspaCy。産業的な製品向けのための自然言語処理らしい。だが、初心者がこだわらずに挑戦するのにも向いていると思う。 spacy.io しかも、spaCy3ではtransformersのモデルも使える様になったので、ちょっくら使ってみようとし…
Stable Diffusionを使って画像生成。プロンプトの呪文は難しい。でも、なんか、呪文ばかりを考えて粘るのも嫌だなと思う。それにも負けず、トライしてみた。とりあえず、まとめて生成させて、使えそうなキーワードを見つけつつ、１０回ずつ試行。 たまに良い…
DiscoDiffusion v5.6で動画生成トライ。 #DiscoDiffusion 先週は画像生成動画。今週は次にチャレンジしようと思ったら、状況が変わっていた。 pic.twitter.com/8CieyjR3AB — BW/GIFT (更新通知・実験BOT・中の人) (@bwgift20th) August 27, 2022 簡単に夢に…
引き続きDisco Diffusion v5.6で画像生成。プロンプトって結構難しい。色んな情報が飛び交うのも分かる気が・・・。試行錯誤してみたら、基本的な要領がわずかにつかめた（かもしれない（笑）） サイバーパンク風街並み。 遠景。雲の下に雪の街並み。 プロン…
「Midjourney」、「DALL·E」といったテキストからの画像生成が話題です。好みの画像を生成するキーワードとかテクニックの記事も出てきて楽しい今日この頃。 キーワードテクニックは、モデルが変われば変わってくる。だが、こうした色んな人の試行錯誤が集ま…
