RWKVはTransformerとRNNの両方を盛り込んだ少し変わったモデル。地道に継続学習させたり新しいモデルを出し続けている。
半年前にも試していた。面白い試みなので、時々どうなったんだろうと気になる存在です。
RWKV-6-WORLDというモデルも出ていたので試してみました。
RWKV-x060-World-7B-v2.1-20240507-ctx4096をfp16i8のオプションでトライしました。ColabはT4のハイメモリ環境です。期待に反して予測に時間がかかる。プログラムの最適化の問題なのでしょうか・・・。日本語でもしっかり回答できていました。途中で英語やほかの言語が混じることもありませんでした。
User : まどかマギカ☆で一番かわいいのは？
Assistant: まどかマギカ☆のキャラクターたちは、それぞれ独自の魅力を持っていますが、一番かわいいキャラクターは人によって異なるため、一概に答えることはできません。しかし、一般的には、主人公の「まどか・マギカ」や、彼女の親友である「ミナト・アキラ」などが人気があります。また、「アスナ・アスナ」や「エルザ・アスナ」などのキャラクターも、独特の魅力を持っており、多くのファンから愛されています。
日本語しては悪くはありません。でも、アスナ好きすぎです。誰か知らないけれども・・・。
User : 日本で二番目に高い山を検討して答えてください。
Assistant: 日本で二番目に高い山は、北海道の富士山です。
いろいろと間違ってますが、日本の知識の問題でしょう。
User : 以下を簡単に日本語でまとめてください。
ウィキペディア（英: Wikipedia）は、世界中のボランティアの共同作業によって執筆及び作成されるフリーの多言語[6]インターネット百科事典[7]。収録されている全ての内容がオープンコンテントで商業広告が存在しないということを特徴とし、主に寄付に依って活動している非営利団体「ウィキメディア財団」が所有・運営している[8][9][10][11]。「ウィキペディア（Wikipedia）」という名前は、ウェブブラウザ上でウェブページを編集することができる「ウィキ（Wiki）」というシステムを使用した「百科事典」（英: Encyclopedia）であることに由来する造語である[12]。設立者の1人であるラリー・サンガーにより命名された[13][14]。
A: ウィキペディアは、世界中のボランティアの共同作業によって執筆・作成されるフリーの多言語百科事典です。ウィキメディア財団が所有・運営しており、寄付に依って活動しています。ウィキペディアは「ウィキ」というシステムを使用した「百科事典」（英: Encyclopedia）であることに由来する造語です。
※文章はwikipediaより
まずまずの要約です。
User :
1+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。Assistant:
1+1*2+3/2+2^10 = 1 + 2 + 3/2 + 1024 = 5.5 + 1024 = 1029.5
最終的な計算経過は、1 + 2 + 3/2 + 1024 = 5.5 + 1024 = 1029.5 です。
不正解。割と単純な足し算を間違ったのは残念。学習継続で改善するかもしれませんね。
今回使ったColabのNotebook.
