自然言語処理
LangchainのPlan and executeを試してみた。 BabyAGI からヒントを得て実装した、タスク立案→実行の流れで自律的に動作をする。題材として、トヨタ自動車のSWOT分析をさせてみる。 検索エンジンはSerpでなくDuckDuckGoにした。試行錯誤するとあっという間にS…
Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとした…
langchainをつかって、chatbotを作ってみる。色々と先人の資料を参考にして作ってみた。単にやり取りだけなら詰まらないので、必要な時に検索して返答するようにした。非常に簡単。 むしろ、コツがいるのはstreamlit。会話を覚えてもらわらないと系内部分。s…
chatbot同士の会話の様に、キャラクターを付けて会話をLLMにさせるとどうなるのか。実験してみました。 司会役、前向きに考える役A、批判的に考える役B、を設定してお互いに会話をさせてみました。初めに司会役を設定せずに会話をさせると、あまり盛り上がら…
BabyAGI is an attempt to autonomously perform tasks while being composed of simple code. Therefore, even those who are not proficient in programming can easily run and enjoy it. BabyCatAGI seemed to be useful for some quick research. I inc…
GPTモデルの使い方を学ぶ。 bwgift.hatenadiary.jp 引き続き、ちまちまと実験しつつ手を入れた。Agentのプロンプトもコツが要って難しい。説明不足でもダメだけど、シンプルに伝わらないと、意図する動作をしてくれない。なんとなく、使えそうなものが出来た…
大規模言語モデル(LLM)を色々とタスクを解決させることができる。思い通りに動かすには結構大変だ。 ド素人ながら、LangChainを使うと簡単に機能を盛り込むことができる。大変便利だ。しかし、色々と自分で勉強しようとプロンプトを弄ったりすると整合性が保…
spaCyからLLMを使えるように実装が始まっている。どんどんお気軽に使える様になってきてうれしい。 github.com とりあえず、簡単なテスト。 github.com FewShot学習も対応しているけれども、日本語はこれからの模様。こういう動きになると益々プロンプトエン…
さっそく試してみる。 ja.stability.ai StableVicuna by CarperAICarperAI/stable-vicuna-13b-delta こちらで試してみました。 StableVicuna - a Hugging Face Space by CarperAI 目次 目次 題材（青空文庫、寺田寅彦作、映画雑感より「家なき児」をまとめる…
自律的にタスクを遂行するautoGPT。GPTモデルを利用することで、課題からタスクを抽出・調査を行う意欲的な実験が進んでいます。OpenAIのAPIを使うので、自分のPCのスペックが少なくても問題なし。そこでチャレンジしてみました。 こちらを参考にしました。 …
Chat GPTで、おしゃべりも楽しいけれども、実用的に考えれば根拠のある回答ができるようが良い。そこで、PDFドキュメントを使った対話が可能だというのでお試しした。 qiita.com こちらを参考にさせていただきつつ、colabで動かしてみた。題材は、題材は産総…
自立エージェントのBabyAGIをお試し。コストの都合上、GPT-3.5-Turboで進めます。 note.com いつも、拝見しています。 ※Googleさんに翻訳してもらっています。 *****目的***** 日本の少子化問題を解決するための政策を提案してください。 初期タスク: タスク…
rinna社の「japanese-gpt-1b」を、日本語データセット「databricks-dolly-15k-ja」を使用して学習させたDolly-Japanese-GPT-1Bモデルを試してみる。今はすっかりGPT-3が話題ですが、GPT-2相当のモデルでどこまでできるのだろうとcolaboratoryで動作させてみ…
OpenAIのChatGPTばかり話題になるが、他の会社も頑張っている。Poeサービスを使って、３つのモデルでアムロとシャアに降臨して頂き会話をしていただいた。 プロンプトを作成し、以下のセリフからの続きを生成してもらった。参考にさせていただいたサイトは文…
色々と纏めさせたり、コード書くのを手伝ったもらったりと、大変便利なOpenAIのGPT。気軽なお遊びはやっぱり、音声でのキャラクター会話だろうとおもって試してみた。 こちらでいい記事を発見！ zenn.dev こちらのコードを元（fork）して手を加えてみた。 ・…
毎日何かしらトピックが尽きないし大規模言語モデル。今度は、Cerebras-GPTが発表された。ColaboratoryでCerebras-GPT-1.3Bを動かしてみた。無料版だとRAMがギリギリだったが、動かせた。 Generative AI is a very powerful tool for the creation of new AI…
引き続き、ChatGPTの醍醐味であるプロンプトに挑戦した。 挑戦したキャラクターは、テニスの王子様に出てくる跡部景吾。イケメンで凄腕プレイヤーで御曹司と非の打ち所がない中学生。「なるほどsundayじゃねーの」と言った名台詞も多数。少年ジャンプで連載…
すっかり話題の巨大言語モデル。OpenAIのchatGPTなら個人が使える価格帯だし、ぼちぼち使ってみたい。そこで、colabでトライしてみた。 whipserで音声認識。chatGPTで返答を作成したらVOICEVOXで音声とする。色んな人が同じような手順でやっているので参考に…
例に従って簡単に動かせました。 github.com 質問 Answer the following question step by step in the detail. Give the rationale before answeringWhat should be implemented to eliminate war from the world? 答え War is a state of armed conflict b…
超大規模モデルが世間を圧倒させている。それをAPIで使うってのも面白そう。しかし、お手軽に使うとなると・・・。悔しいので、colabでできる自然言語処理のお勉強を進めることにする。今回は、固有表現抽出用にelectraのファインチューニングをお手軽にでき…
フリーのニューラル機械翻訳モデル（日本語・英語）FuguMTをお試ししてみた。 staka.jp といっても簡単。ほぼモデルを呼び出すだけ。 github.com これくらいのベースが出来ているのであれば、分野や文書ごとに追加で学習させて使うやりかたが気軽にできそう…
自然言語処理ライブラリspaCy。Colabで使う時には、なんとなく惰性でpipでインストールしていたが、実はpre-installされていた。今更気が付いた。 Google Colab now comes with spaCy v3.3 pre-installed as the default Run spaCy 3.3 workflows in Google …
自然な会話ができるChatGPTが話題ですが、SODA*1という、データセットで学習させたCOSMOというモデルがなかな優秀だというのをtwitterで見かけたので試してみる。 github.com 会話の状況は「最後の一葉」を参考にして投入した。 instructionは不要らしいが、…
No Language Left Behind: NLLBでのモデルが公開された。どんな言語でもWeb上の情報を母国語でコミュニケーションできるようにという翻訳AIプロジェクト。 No Language Left Behind: A model from NLLB is released. A translation AI project that allows a…
簡単に自然言語処理にトライできるspaCy。産業的な製品向けのための自然言語処理らしい。だが、初心者がこだわらずに挑戦するのにも向いていると思う。 spacy.io しかも、spaCy3ではtransformersのモデルも使える様になったので、ちょっくら使ってみようとし…
動かしっぱなしにしているtwitterからデータを収集するコード。サーバーのメンテナンスついでに、ライブラリーも最新に・・・と考えたのが間違いだったのか。それなりに時間が経っているので、モジュールの仕様も変わっているわけで・・・。 emoji emoji.UNI…
文章要約にチャレンジ。 Pysummarizationを使うと簡単にできそうなので、採用。 pypi.org 基本的には、こちらのページを見ながら試していけば、よいのだが、要約モデルをいくつか試せるのが楽しい。 github.com 普通にやっても面白くないので、長文を無理や…
GPT2を使って、文章の生成にチャレンジをしています。 bwgift.hatenadiary.jp なんか、いまいちだった。そこで、試行錯誤して、rinnaのmiddleサイズの学習データをベースに、吉川英治の三国志を学習してみた。 github.com その結果できた文章。読める文章が…
引き続き遊んでみた。 bwgift.hatenadiary.jp りんなのsmallモデルからmediumモデルを使ってファインチューニング。プロンプトテキストは生成テキストを加えて行き、行数が増えてきたら、直近の適当な行数をベースとした。（この例だと、最初に20行まで生成…
青空文庫からデータをダウンロードして加工できた。さっそく、コナンドイル作品から「」内の会話文を抽出して学習用データをしました。具体的な手法は、過去記事参照。 bwgift.hatenadiary.jp 使ったりんなモデルはスモールモデル。例によってColabを使いま…
