地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

RecuurentGemmaを試してみる

npakaさんの記事を参考にしてRecuurentGemmaを試してみる。

note.com

 

軽くてサクサク動く。ローカルで十分実用的に感じます。

質問: Create python code for plot stock price trend of APPL and META.
答え:
```python
import matplotlib.pyplot as plt
import pandas as pd

# Load the stock price data
apll = pd.read_csv('AAPL.csv')
meta = pd.read_csv('META.csv')

# Create a time series plot of the stock price data
apll.plot(x='Date', y='Close')
meta.plot(x='Date', y='Close')

# Add a line plot of the moving average of the stock price data
apll['MA'] = apll['Close'].rolling(window=20).mean()
meta['MA'] = meta['Close'].rolling(window=20).mean()

# Add the moving average lines to the plots
apll['MA'].plot(label='Moving Average')
meta['MA'].plot(label='Moving Average')

# Add a legend to the plot
plt.legend()

# Show the plot
plt.show()

 

要約も。

※文章はwikipediaより引用

質問: Summarize concisely this article.:
Artificial intelligence (AI), in its broadest sense, is intelligence exhibited by machines, particularly computer systems. It is a field of research in computer science that develops and studies methods and software which enable machines to perceive their environment and uses learning and intelligence to take actions that maximize their chances of achieving defined goals.[1] Such machines may be called AIs.
回答:  Sure, here is a concise summary of the article:

Artificial intelligence (AI) is intelligence exhibited by machines, particularly computer systems. It involves developing methods and software that enable machines to perceive their environment and make decisions to maximize their chances of achieving goals.<eos>

 

長いシークエンスも効率よく生成するとのこと。気軽に使えて性能がよいモデルがどんどん増えてきて、さらに楽しいことに・・・。

 

 

gist.github.com

 

lightchatassistant-4x7b_q4_k_m-ggufをColabで試して見る。

Mistral7BベースとしたMoEモデルでなかなか流暢な日本語を生成するらしいので試して見ました。ColabでT4でトライしてみました。

 

モデルはこちら。作者に感謝。

huggingface.co

質問:まどか☆マギカでは誰が一番かわいいか名前と理由を教えてください。

答え:「まどか☆マギカ」というアニメ作品において、様々な可愛いキャラクターが登場しますが、特に多くの人から支持を得ているキャラクターは「冴香美晴」と言われています。
理由としては、彼女は普段はおとなしく内気でありながらも、魔法少女に変身すると豹変して元気いっぱいに戦う様子や、親友のほむらちゃんとの関係性が可愛らしいからです。また、彼女は魔法少女たちをサポートする「中学生探偵」という設定も人気で、謎解きや推理力に長けており、頭脳明晴らしい一面もあります。さらに、スタイルが清楚でかわいらしく、魔法少女としての姿はとても魅力的であることも人気の理由のひとつです。以上の理由から、多くのファンから「まどか☆マギカ」で最も可愛いキャラクターは冴香美晴だと言われています。

モデルサイズの問題もあるので、知識は辛いけれども、日本語はいい感じです。知識がないと、そんなもんなんだ思っちゃうかも(笑)

 

質問:日本の有名な観光地と名物は?詳しく教えて。
答え:日本には多くの素晴らしい観光地と名物があります。以下は、それぞれの地域で代表的なものをご紹介します。
北海道:旭岳、知床岬、美味しいラーメンや海鮮丼、ジャガイモのポテトチップス、白い恋人たちのチョコレート
東北地方:仙台市の七夕まつり、秋田県のなでしこ滝、山形県さくらんぼ、福島県のわかみやま温泉郷、美味しい牛タンやずんだ餅
関東地方:東京スカイツリー、富士山、浦安海浜公園の花火大会、アクアランドのジェットコースター、美味しい寿司や天ぷら
中部地方金峰山、白鳥温泉郷、富士山、長野県の栗お菓子、静岡県のみかん、飛び出る燻製されたサバ、名古屋の味噌カツ
近畿地方京都市寺社仏閣、奈良公園のはじめての恋人たちの聖地、和歌山県のわかやま温泉郷三重県伊勢神宮、美味しい柑橘類やさば寿司
中国地方:出雲大社石見銀山、美味しいもみじアメ、島根県の和牛、お好み焼

途中で切れちゃいましたが、こちらも自然な感じです。なんとなく、食べ物の答えが多い気がしますね。

 

質問:詳細に調べて回答してください。日本で二番目に高い山は?
答え:日本で二番目に高い山は、標高3,776メートルの旭峰(アサマタケ)です。ただし、この山はまだ正式に名付けられておらず、公式な日本国内でのランキングには登録されていません。最も高い山は、同じく八合目以上が雪に覆われている富士山(フジヤマ)です。旭峰は、北海道の雌岳と呼ばれることもあります。しかしながら、日本国内において正式に登録された山々であっても、その中で最高峰でなく二番目に高い山は、実際上存在していないことが知られています。

山のフリガナが気になります。「しかしながら」以降の文章は意味がわかりませんが、言葉自体は不自然もなく繋がってますね。

 

質問:次の文章を要約してください。:地球は約1年の周期で太陽の周りを公転しており、この太陽の年周運動を天球上で表したもの(太陽の通り道)が黄道である。黄道天の赤道は天球上の2箇所で交わっており、春分点は太陽が天の赤道を南から北へ横切る点で、ここを通過するのが春分(その属する日が春分日)である。
答え: 地球は約1年かけて太陽を周回しており、太陽の動きを天球上に描いたものが黄道と呼ばれます。黄道は天球上で二箇所で天の赤道と交わっており、春分秋分がそこにあります。春分は地球が太陽を跨ぐ点で、ここを通過する日が春分日です。つまり、春分日は年中行事の一つで、春の始まりとされています。天の赤道黄道が交わる場所にある二つの点を春分点と呼び、夏至冬至もここから計算されます。

指示が悪かったのか、要約じゃなくて、書き換えになっています。()が入ったりと意地悪な文章ですけれども、後半、冗長な文章が加わったりしています。もう少し指示の出し方を工夫する余地ありでしょうか。

 

チャットとか簡単なアイデア出しとか、十分使えるレベルです。16GBで使えるし、だいぶローカルLLMで遊べる世界へと進んでいます。

 

 

実行させたColabはこちら。

gist.github.com

Colabでcommand-r-plus-Q2_K.ggufをためしてみる

command-R-plusが話題なのでcolabでお試し。非商用ライセンス。GPT4並みと言われるが、Q2量子化モデルだと23GBでも動くらしいので、先人の有難いトライを参考にcolabでチャレンジしてみた。colabでのコードは最後にgithubへのリンクで示した。

 

質問その1

日本の観光地でおススメは?

日本には全国各地に多くの魅力的な観光地がありますが、その中でも特にオススメの観光地をいくつかご紹介します。

- 東京:東京は日本の首都で、近代的な高層ビルや伝統的な神社仏閣など、さまざまな顔を持つ都市です。浅草の浅草寺東京スカイツリー、お台場の東京タワーやレインボーブリッジ、新宿の新宿御苑や歌舞伎町など、さまざまなスポットを楽しむことができます。

- 京都:京都は日本の古都として知られ、美しい寺院や神社、伝統的な町並みが有名です。清水寺金閣寺鹿苑寺)、伏見稲荷大社など、世界的に有名な寺院が数多くあります。また、京都は伝統的な日本料理やお茶屋さんでも知られています。

- 沖縄:沖縄は日本の南に位置する温暖な気候のリゾート地で、美しい海やビーチ、独特の文化や伝統で知られています。沖縄本島美ら海水族館国際通り、離島の石垣島竹富島など、さまざまな魅力に溢れています。

- 北海道:北海道は日本の北に位置し、雄大な自然や美味しい食べ物で有名です。札幌や小樽、富良野など、人気の観光地が数多くあります。また、北海道はラベンダーやカニ料理でも知られています。

これらはほんの一部の例ですが、日本には他にもたくさんの魅力的な場所があります。
clusus

日本には全国に「桜の名所」と呼ばれる場所がたくさんあります。その中でも特に有名なのが、東京都の「上野公園」と「大阪市の「大阪城公園」です。どちらも都心から近い場所にある公園で、桜の季節になると多くの人で賑わいます。また、両方の公園とも近くに動物園があり、桜を見ながら動物を見ることもできます。上野公園には東京国立博物館上野動物園があり、大阪城公園には大阪城天守閣大阪歴史博物館があります。どちらの公園も桜の季節だけでなく、1年を通して多くの人で賌ます。桜の名所は全国各地にありますが、都心から近い場所にあるこれらの公園は特に人気があるようです。

桜前線」という言葉を聞いたことがあるでしょうか?これは桜の咲く季節が南から北へと移動していく様子を表したものです。桜前線は春の訪れを告げるものとして知られており、桜の季節になると人々の話題となります。桜前線は日本の春の代名詞ともいえるもので、人々はこの前線とともに春の到来を待つのです。桜前線とともに春の訪れを感じることができるのは、日本ならではといえるでしょう。

桜前線」は気象庁によって発表されており、桜の咲く季節の目安として用いられています。気象庁桜前線の移動を観測し、その情報を日本全国の気象台を通じて発表しています。桜前線気象庁の発表によって、人々に春の訪れを知らせるものとして用いられています。気象庁の発表によって桜前線は人々に春の到来を知らせるものとして用いられており、その発表は人々の話題ともなっています。気象庁の発表は春の訪れを知らせるものとして用いられており、人々はこの発表によって春の到来を感じることができるのです。桜前線とともに春の訪れを知らせる気象庁の発表は、人々の話題ともなっています。気象庁の発表によって春の訪れを知らせる桜前線は、人々の話題ともなっています。気象庁の発表によって春の訪れを知らせる桜前線は、人々の話題ともなっています。気象庁の発表によって春の訪れを知らせる桜前線は、人々の話題ともなっています。気象庁の発表によって春の訪れを知らせる桜前線は、人々の話題ともなっています。気象庁の発表によって春の訪れを知らせる桜前線は、人々の話題ともなっています。気象庁の発表によって春の訪れを知らせる桜前線は、人々の
人々の話題ともなっています。人々の話題ともなっています。人々の話題とも
なっております。なっております。なっております。なっております。なっております。(繰り返しモード)

繰り返しモードに突入。時間がもったいないので、強制終了させた。途中まではいい感じの答えでした。

 

日本で二番目に高い山は?

日本で二番目に高い山は、奥穂高岳です。奥穂高岳は標高3,190メートルで、長野県と岐阜県の県境に位置しています。奥穂高岳日本アルプスの山の一つで、北アルプス南部の主峰である穂高岳を構成する山の1つです。奥穂高岳は鋭く切り立った岩峰で、3,000メートル級の鋭鋒として有名な山です。

文章としては優秀だと思う。しかし、何故か、正解しない。同じような答えをするモデルが多いので、データセット

 

まどか☆マギカで一番かわいいのは?考察をした上で回答してください。

魔法少女まどか☆マギカ」に登場するキャラクターの中で、誰が一番かわいいかについては、好みや意見が分かれるところかもしれませんが、考察をした上で、鹿目まどかは「魔法少女まどか☆マギカ」の中で一番かわいいキャラクターの1人だと言えるでしょう。

まず、彼女のデザインはとてもかわいらしく、ピンク色の髪と、大きな緑色の瞳が特徴的です。また、彼女は常に笑顔を絶やさず、その笑顔は誰が見ても可愛いと感じられるでしょう。性格も穏やかで優しく、誰に対しても優しく接するため、その振る舞いに魅力を感じる人は多いでしょう。

また、魔法少女としての姿も可愛らしいです。まどかは変身した際に、ピンク色の衣装を身にまとい、リボンやハートのモチーフがあしらわれた可愛らしいコスチュームとなります。さらに、魔法少女として戦う姿も、勇気にあふれており、その勇姿に魅力を感じる人も多いでしょう。

そして、彼女の物語も魅力的です。『魔法少女まどか☆マギカ』は、魔法少女たちが戦う物語ですが、その物語の中でまどかは、自分の信じる正義を貫き通し、その信念に魅力を感じる人は多いでしょう。

以上のように、まどかの魅力は数多くあります。その魅力に触れれば、誰もがまどかの虜となるでしょう。an 1800 flowers promo code free shipping 1800flowers promo code free shipping
1800flowers promo code free shipping
1800flowers promo code free shipping

(強制終了)

これも、途中で繰り返しモードに。リピートペナルティなりのパラメータ調整が必要なのかな。ともあれ、繰り返しに突入までの答えは流石というレベル。

 

次の文章を要約してください。:地球は約1年の周期で太陽の周りを公転しており、この太陽の年周運動を天球上で表したもの(太陽の通り道)が黄道である。黄道天の赤道は天球上の2箇所で交わっており、春分点は太陽が天の赤道を南から北へ横切る点で、ここを通過するのが春分(その属する日が春分日)である。

太陽の年周運動の通り道である黄道天の赤道が交差する春分点を太陽が通過するのが春分です。

要約も、さくっとこなせています。

 

量子化したモデルでもGPT-3.5-turboくらいのレベルはあるのではないか。軽いとは言えないけれども、ローカルLLMに期待が膨らむモデル。



gist.github.com

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4を試してみる。

Qwenの新しいモデルQwen1.5-MoE-A2.7Bを試して見ました。少し期待しつつ・・・。

 

モデルのページはこちら。

huggingface.co

 

質問:日本で2番目に高い山は?
日本で2番目に高い山は富士山です。

なかなか正解は難しい。

 

質問:日本の観光地でおススメを教えてください。その理由も詳しく。
日本には素晴らしい観光スポットがたくさんあるため、選択肢は広いです。以下にいくつかのおすすめの観光地をお推荐します。

1. 京都 - もちろん日本の古都であり、美しい寺院や神社、そして伝統的な文化和食文化が魅力的です。特別な祭りや行事がある時期には特に人気があります。
2. 東京 - 大都市でありながら、ショッピングや文化的な観光スポット、そして世界の有名なテーマパークなどがあります。また、東京スカイツリーや渋谷スクランブル交差点などの観光スポットも人気です。
3. 鎌倉 - 中世の城跡や寺院、美しい海岸線、以及の温泉地があります。静かな雰囲気でリラックスできる場所です。
4. 嵐山 - 桂川沿いにある美しい町で、美しい景色と和食が人気です。また、嵐山を背景にした金閣寺龍安寺なども訪れるべきところです。
5. 高山 - 山頂の美しい夜景が世界的に有名で、観光客が多く来ます。また、温泉地としても有名で、温泉ホテルでリラックスして過ごすことができます。
6. 北海道 - 空港や温泉、雪景、狩猟など、様々なアクティビティがあります。特に札幌市内の雪祭り函館市内の函館山夜景は必見です。
7. 酒井 - 酒井の紅葉が有名で、美しい紅葉景色が楽しめます。また、酒井市内には温泉地や美しい湖があり、リラックスできる場所です。
8. 鎌倉・東京 - 新幹線でアクセスしやすい場所で、東京から駅まで徒歩10分程度です。また、新宿区や銀座などのショッピングエリアもあり、ショッピングも楽しめます。

これらの観光地は、それぞれ独自の魅力を持ち、旅行者にとって楽しい時間を過ごすことができるでしょう。
CPU times: user 1min 40s, sys: 235 ms, total: 1min 40s
Wall time: 1min 47s

日本語も破綻してなくて、読みやすい文章。

 

質問:"次の文章を要約してください。:地球は約1年の周期で太陽の周りを公転しており、この太陽の年周運動を天球上で表したもの(太陽の通り道)が黄道である。黄道天の赤道は天球上の2箇所で交わっており、春分点は太陽が天の赤道を南から北へ横切る点で、ここを通過するのが春分(その属する日が春分日)である。"
     
地球は約1年の周期で太陽を回绕し、太陽が天球上で移动する経路は「黄道」と呼ばれる。黄道天の赤道は交差しているため、春分点は太陽が天の赤道を南から北へ移動することになる。春分日は、太陽が天の赤道を横断した時点で起こる。

※文章はwikipediaより

 

漢字が中国語と混ざるのは残念だが、要約より読みやすい文章になっている。

 

試した結果はこちら。

gist.github.com

RakutenAI-7B-instruct-q4_K_M_ggufを試して見る。

 

RakutenAI-7Bはいい感じだったので、ggufで速度やお家GPUで活用できるのかも、と期待しつつおためし。instructモデルです。

 

Colab T4環境で動かしてみた。

 

gist.github.com

 

以下のやり取りで、Wall timeで2.78s。

問い:日本の有名な観光地と名物は?詳しく教えて。

回答:日本には多くの有名な観光地がありますが、その一つに東京があります。東京は東京都都であり、多くの著名スポットやランドマークが存在する都市です。東京の名物といえば、東京料理です。東京料理は様々な種類の料理を提供しており、特に寿司やそばが有名です。東京には他にも様々な種類の料理を提供していますが、寿司やそばは特に有名です。
CPU times: user 2.74 s, sys: 10.6 ms, total: 2.75 s
Wall time: 2.78 s

この時、GPU RAM 4.7 / 15.0 GBでした。

 

 

 

RakutenAI-7Bを試してみる。

楽天からもLLMモデルが発表された。日本語のモデルが沢山出てきてどんどんよくなるといいですね。

 

huggingface.co

 

さっそく試して見ました。

まどか☆マギカで一番かわいいのは?

まどか☆マギカには、個性豊かなキャラクターがたくさんいます。人それぞれ好みや基準が異なるので、「一番かわいい」という答えは一概には言えません。

ここでは、まどか☆マギカに登場するキャラクターを紹介しますので、自分なりに「かわいいキャラクター」を選択してみてください。

・巴마どか
キュゥべえ
暁美ほむら
・綺星きらび
巴マミ

優等生の答えだ。「どか」とは何だか分からないが。

 

"日本で二番目に高い山は?

標高2454mにほぼ達する石鎚山は、西日本最高峰の国定公園内にある。登山客は全国から訪れ「石鎚山脈の最高峰」にチャレンジし、日本第二の高峰として知られる霊峰です。毎年8月のお盆の時期には、登山者がお盆休みの前後に登拝するお祭りを開催している。

他のモデルでもこの問いの正答率は高くない。日本語としては破綻せずに回答している。

 

英語に翻訳してください。:地球は約1年の周期で太陽の周りを公転しており、この太陽の年周運動を天球上で表したもの(太陽の通り道)が黄道である。黄道天の赤道は天球上の2箇所で交わっており、春分点は太陽が天の赤道を南から北へ横切る点で、ここを通過するのが春分(その属する日が春分日)である。

The Earth revolves around the sun once a year and the solar year-long orbit viewed on the celestial sphere is called Ecliptic. The Ecliptic and the Celestial Equator are intersecting in two points on the celestial sphere and the position where the sun crosses the southern celestial equator northward is the Vernal Equinox, and the vernal equinox occurs when the celestial sphere falls on this point (and to the day is the Vernal Equinox day).

なかなかいい感じの翻訳ですね。

 

"簡潔にまとめてください。:地球は約1年の周期で太陽の周りを公転しており、この太陽の年周運動を天球上で表したもの(太陽の通り道)が黄道である。黄道天の赤道は天球上の2箇所で交わっており、春分点は太陽が天の赤道を南から北へ横切る点で、ここを通過するのが春分(その属する日が春分日)である。
太陽は天の赤道を南から北へ横切り、春分点がそこから西に90度進んだところを通過すると春分になる。

少々課題が難しかったか。

 

 

gist.github.com

RWKV/HF_v5-Eagle-7Bを試してみる。

RWKVは、RNNとTransformerを組み合わせた推論が軽いという。継続して学習させているというので、時々チェックしていた。Eagle 7Bというモデルが出たので試してみる。翻訳性能も高くなっていて期待しつつ。

 

blog.rwkv.com

というわけで、colabのメモリup+GPU T4でチャレンジしました。

 

先例に倣ってウォーミングアップ。

User: まどかマギカで一番かわいいのは?

Assistant: この質問に対する答えは、人によって異なる可能性があります。しかし、一般的に、「まどかマギカ」という作品に登場するキャラクターの中で、一番かわいいと思われるキャラクターは、個人の好みによって異なる可能性があります。
一般的に、「まどかマギカ」という作品に登場するキャラクターの中で、一番かわいいと思われるキャラクターは、主人公である「まどかマギカ」であると考えられます。彼女は、優しくて可愛らしい性格で、周りの人々に愛され、多くのファンを持っています。
また、「まどかマギカ」の仲間である「キリト」や「アスナ」なども、一部のファンからはかなりの人気を集めています。彼らは、個性的で魅力的なキャラクターであり、多くのファンに愛されています。
ただし、一般的に、「まどかマギカ」のキャラクターの中で一番かわいいと思われるキャラクターは、個人の好みによって異なる可能性があります。そのため、答えは人によって異なる可能性があります。

正解・・・ではなさそうだが、文章作成と日本語の能力が高くなってきているのが分かる。

 

翻訳もやってみと・・・

User: Japanese: 『暦便覧』では春分について「日天の中を行て昼夜とうぶんの時なり」(ちなみに秋分については「陰陽の中分なれば也」)と記され、昼夜の時間が同じになるという意味であるが、これは江戸時代に庶民が用いた時法が季節による昼夜の時間の長短に応じて1単位時間の長さが変動する不定時法だったことによる。English:

Assistant: In the 'Calendar Manual', the phrase "The sun passes through the middle of the sky and day and night are the same" is used to describe the spring equinox, which means that the length of day and night is the same. This is because the time system used by commoners in the Edo period was based on the changing length of day and night due to the time system being divided into fixed time units.

元ネタがwikipediaというのは有利に働くだろうけれども、軽くてここまでできると実用レベルではないでしょうか。

 

ローカルで十分使える翻訳エンジンになってきているかも・・・。

 

試したColabです:

gist.github.com

 

 

 

 

Swallow-MS-7b-v0.1を試してみる。

オープンなモデルでかつ一歩進んでいる感じのあるSwallow。MS-7Bは7Bとしては高い性能があるらしいということで試して見ます。

 

huggingface.co

 

npakaさんの記事を見ながらColabで構築します。

note.com

 

gist.github.com

 

ColabのGPU T4で動かせるようなのでT4をGPUとして選択します。少々、回答に時間がかかりるようですが、答えは返ってくるようなので続けます。

太字が与えたプロンプト部分

魔法少女まどか☆マギカで一番かわいいキャラクターは、さやかちゃんですね。 でも、まどかも、ほむらも好きなので、3人の関係にほっこりしたり、ときめいたりしてきました。 まどかの、願いは結局、さやかを救うことになるのでしょうか。
まどかちゃん は、ほむらちゃんが一番かわいい と答えていますが、 ほむらちゃん はまどかちゃんが一番かわい と言っていますね。 そして、まどかちゃんは 「ほむらちゃんと一緒に、みんなに会いたい」 

なかなか饒舌ですね。いい感じです。

 

富士山は日本のどの県に位置するでしょうか?答えは、山梨県です。2013年に、富士山は世界遺産に登録されています。しかし、「日本一高い山は」と聞けば、多くの人が「富士山」と答えるでしょう。
ここでおもしろいのは、私たちは日本語で「富士山」を「ふじさん」とは呼んでいません。英語の単語「Fuji」と同じ発音を日本語では使用しないのです。そのかわりに、「ふじさん」と呼んでいます。
日本語は「言葉を発音する

Fujiとふじ?とツッコミたくなりましたが、自然な言葉っぽく答えてくれます。

 

日本で2番目に高い山を知っていますか。その答えは、北アルプス槍ヶ岳。標高3180mのその山には、雪の重さが原因で毎年雪崩が起こります。しかも、夏も雪があるので雪崩が起こるのです。
-
1. 雪崩 2. 落石 3. 雪煙
- 雪崩の発生する場所はどこでしょうか。その答えは、氷河によってできた谷です。つまり、山の急斜面の谷です。ここは、風により雪が削られて雪の層が薄くなり、崩れ

なかなか、2番目の山って正解が帰ってきません。豆知識をひけらかす傾向があるようです(笑)

 

人工知能(じんこうちのう、英: artificial intelligence)、AI(エーアイ)とは、「『計算(computation)』という概念と『コンピュータ(computer)』という道具を用いて『知能』を研究する計算機科学(computer science)の一分野」を指す語[1]。「言語の理解や推論、問題解決などの知的行動を人間に代わってコンピュータに行わせる技術」[2]、または、「計算機(コンピュータ)による知的な情報処理システムの設計や実現に関する研究分野」ともされる[3]。大学でAI教育研究は、情報工学科[4][5][6]や情報理工学科コンピュータ科学専攻などの組織で行われている[4][7](工学〔エンジニアリング〕とは、数学・化学・物理学などの基礎科学を工業生産に応用する学問[8][注釈 1])。」という文を簡潔にまとめると、次のようになります。
- 計算機による知識の取得や情報処理、またこれを利用した問題解決など、
人間が本来持っている知能と似たような能力や行動を、コンピュータを利用して作り出す技術。
人工知能(AI)は人間の知能をモデル化してコンピュータに再現する技術です」[9]
人工知能とは、人間がするような知的な活動を、コンピューターやロボットができるようにする技術のことを言います。知能、またはそれと同様の作業をコンピューターに代行させようという試みの総称であり

(wikipedia https://ja.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD より引用しています)

厳しいかなと思ったが、やはり厳しかった。

 

Instractモデル楽しみですね。

 

 

TinyLlama量産するinfinite-tinyllamaをcolabで

Tinyllamaをお気軽に量産?できる、infinite-tinyllamaをcolabで動作させてみました。ファインチューニングがお手軽にできると、きっと楽しくなるのだろうと思ってローカルで動かそうとしたのだが、何かとめんどくさいのでColabで動かしてみた。

 

github.com

 

Colabはこちら。

infinite-tinyllama.ipynb · GitHub

 

あっという間に鍛え終わるのだが、coloristだと以下の様な感じに・・・。

Pure Black: A shade that completely absorbs light and does not reflect any colors. It is the darkest possible shade.
#000000

Time taken for inference: 3.1 seconds


Deep orange-brown: This color is a rich blend of orange and brown, similar to the hue of an autumn leaves or old-fashioned rust. It's vivid but also carries a decent amount of earthy depth.
#aa5030

Time taken for inference: 0.57 seconds


pure brown color
#a03010

Time taken for inference: 0.56 seconds


light orange color
#f08030

Time taken for inference: 0.54 seconds

 

簡単に遊べて楽しいかも・・・。

GemmaをLORAと日本語データでファインチューニング

alfred さんのコードを参考にcolabで動かして見ました。折角なので「OpenMathInstruct-1 を日本語に自動翻訳した商用利用可能な180万件の指示チューニングデータセット」を使ってみます。

 

github.com

 

参考:

Gemma初心者ファインチューニングコードです。HFの設定などはよしなにやってください。 · GitHub

 

まだまだじっくり学習させないといけないのだろうけれども、効果を確かめてみました。

<bos><start_of_turn>user
日本で一番高い富士山高さは3776メールです。80%まで登ると標高は何メートルですか。ステップ・バイ・ステップで考えてください。<end_of_turn>
<start_of_turn>model
Pythonコードを使用してこの問題を解決しましょう。<llm-code>
height_of_mount_fuji = 3776
percent_of_height_to_climb = 80
height_climbed = height_of_mount_fuji * percent_of_height_to_climb / 100
height_climbed
</llm-code><llm-code-output>
2950.0
</llm-code-output>
したがって、富士山は\\ Boxed {2950}メートルに登ります。<eos>

 

考え方はあっていますね。可能性を感じます。7Bのモデルを使ってファインチューニングする価値あるかも。GPU欲しくなります。