Swallowの新しいモデルが公開されましたので、早速試してみます。mmngaさんがGUFFに変換したモデルを利用します。ColabのL4環境を利用します。VRAM占有率は19773MiB / 23034MiBでした。
日本語は、さすがに自然です。比較的簡潔な文章を生成していました。基本的な性能はGemma-2の性能も手伝って問題なさそうです。が、長めのテキストを参照用として入れ込んだ場合には、それをうまく活かした回答ができませんでした。量子モデルで十分な検証ではありませんが、気になった点です。
公式サイトでも述べられていましたが、27Bクラスだと、Gemma 3 27B ITの性能は高いですね。今回発表されたGemma-2-Llama-Swallowでは2B/9Bといった小型のモデルでも自然な日本語が期待でき、商利用も可能なモデルとして活用できます。ローカルLLMの選択肢が広がるのは嬉しいです。
mmnga/Gemma-2-Llama-Swallow-27b-it-v0.1-gguf · Hugging Face
まどか☆マギカで一番かわいいのは？
それは人それぞれ好みが分かれるところですね！
* **キュートな可愛さなら**、きっと**さやか**が人気でしょう。明るい笑顔と元気な性格は、見ている人を幸せにしますよね。
* **ミステリアスな可愛さなら**、**まどか**かもしれません。少し大人びた雰囲気と、優しい瞳が魅力的です。
* **クールな可愛さなら**、**マミさん**でしょうか。強い意志と凛とした佇まいは、まさにカッコいい！もちろん、**ほむら**のクールビューティーも捨てがたいですし、**杏子**の自由奔放さも魅力的です。
結局のところ、一番かわいいのは、あなたにとって誰なのか、ということですね！
CPU times: user 37.3 ms, sys: 5.57 ms, total: 42.9 ms
Wall time: 12.3 s
まどか☆マギカのキャラクターのテキストを参照して回答してください。
まどか☆マギカで一番かわいいのは、誰ですか？（割愛）
まどか☆マギカで一番かわいいのは、**暁美 ほむら**だと思います。
理由は以下の通りです。
* **ミステリアスでクールな雰囲気:** 赤い瞳と黒髪ボブの組み合わせが、どこか影のある魅力を醸し出しています。
* **強い意志と決意:** 時間操作の魔法を使うなど、強い力を持っているだけでなく、まどかを救うために何度も過去へ戻ろうとする強い意志を感じさせます。
* **戦闘シーンのかっこよさ:** 魔法少女としての戦闘シーンは、華麗で力強いアクションが印象的です。もちろん、他のキャラクターもそれぞれ魅力的ですが、私はほむらのミステリアスさと強さに惹かれます。
CPU times: user 48.2 ms, sys: 4.67 ms, total: 52.9 ms
Wall time: 14.9 s
参照テキストと比較してみると根拠として採用されていません。
日本で二番目に高い山を検討して答えてください。日本語で回答してください。
日本で二番目に高い山は **北岳** です。
標高は3,190メートルです。
CPU times: user 11.7 ms, sys: 61 µs, total: 11.8 ms
Wall time: 2.25 s
正しいですね。
以下を簡単にまとめてください。
ウィキペディア（英: Wikipedia）は、世界中のボランティアの共同作業によって執筆及び作成されるフリーの多言語[6]インターネット百科事典[7]。収録されている全ての内容がオープンコンテントで商業広告が存在しないということを特徴とし、主に寄付に依って活動している非営利団体「ウィキメディア財団」が所有・運営している[8][9][10][11]。「ウィキペディア（Wikipedia）」という名前は、ウェブブラウザ上でウェブページを編集することができる「ウィキ（Wiki）」というシステムを使用した「百科事典」（英: Encyclopedia）であることに由来する造語である[12]。設立者の1人であるラリー・サンガーにより命名された[13][14]。
Wikipediaは、世界中のボランティアが協力して作る無料のオンライン百科事典です。
* **特徴:**
* オープンコンテントで誰でも自由に利用可能
* 商業広告なし
* 寄付によって運営されている非営利団体「ウィキメディア財団」が運営* **名前の由来:**
* 「ウィキ（Wiki）」というウェブページ編集システムと「百科事典（Encyclopedia）」を組み合わせた造語
CPU times: user 26.4 ms, sys: 4.31 ms, total: 30.7 ms
Wall time: 7.98 s
シンプルですけど、分かりやすいまとめです。
1+1*2+3/2+2^10を計算してください。計算が終わったら検算をしてください。最後に最終的な計算経過と結果を答えてください。
## 計算経過:
**1. 指数計算:** 2^10 = 1024
**2. 掛け算:** 1 * 2 = 2
**3. 割り算:** 3 / 2 = 1.5
**4. 足し算と引き算 (左から右へ):**
* 1 + 2 = 3
* 3 + 1.5 = 4.5
* 4.5 + 1024 = 1028.5
## 結果:1 + 1 * 2 + 3 / 2 + 2^10 = **1028.5**
## 検算:
電卓で計算すると、1028.5 となります。
CPU times: user 40.9 ms, sys: 6.38 ms, total: 47.3 ms
Wall time: 13.8 s
シンプルに答えてくれます。
両さんと部長の話を創作してください。
## 部長と両さん
薄暗い居酒屋の片隅で、部長と両さんは向かい合っていた。テーブルには、ほとんど手つかずの料理と、冷え切ったビールが並んでいる。
「両さん、本当に申し訳ない。こんな形で…」
部長の言葉は、かすれた声で、まるで自責の念に押しつぶされそうだった。彼は、両さんに頭を下げたまま、しばらくの間沈黙を続けた。
両さんは、静かに部長を見つめていた。彼の目は、いつも通りの鋭い光を放っていたが、そこにはどこか哀愁が漂っていた。
「部長…」
両さんはゆっくりと口を開いた。
「あの件は、もう終わったことだ。俺も、お前も、もう過去にとらわれる必要はない。」
彼はそう言うと、テーブルの上のビールを一口飲んだ。
部長は顔を上げ、両さんの目を見つめた。
「でも、両さん…あの時、俺が…」
「あの時、部長は自分の仕事を全うしようとしただけだ。そして、俺はそれを止められなかった。それだけのことだ。」
両さんは、静かに言った。彼の言葉には、どこか諦めのようなものを感じさせた。
部長は、両さんの言葉を聞いて、深くため息をついた。
「でも、俺たちは…」
「もう終わったことだ」
両さんは繰り返した。彼の目は、部長を優しく見つめていた。
「これから、どうするかだ。俺たちは、まだ前に進むことができる。」
両さんの言葉は、まるで希望の光のように、部長の心を照らした。彼は、ゆっくりと頷いた。
居酒屋の照明が、二人の顔に影を落としている。しかし、彼らの心の中には、すでに新たな決意が芽生え始めていた。
CPU times: user 77.9 ms, sys: 10.2 ms, total: 88.1 ms
Wall time: 29.2 s
自然な文章ですね。なんか、いい雰囲気です。
LangchainでWikipediaの北岳のページをまとめます。（STUFF)
## 北岳 (Mount Kita)
**Overview:**
* **Location:** Southern Alps, Yamanashi Prefecture, Japan.
* **Elevation:** 3,190 meters (10,466 feet), the second-highest peak in the Japanese Alps and the highest in the Southern Alps.
* **Prominence:** 2,578 meters
* **Classification:*** Ranked as one of the "100 Famous Mountains of Japan" (日本百名山)
* Part of the Southern Alps National Park**Features:**
* Known for its rugged terrain and challenging hikes.
* Offers panoramic views of the surrounding mountains, including Mount Fuji.
* Home to diverse flora and fauna, including alpine plants and rare animals.**Climbing:**
* Popular destination for mountaineers and hikers.
* Several trails lead to the summit, varying in difficulty.
* Best climbing season is from July to September.**Cultural Significance:**
* Holds spiritual significance for local communities.
* Often depicted in Japanese art and literature.
Let me know if you'd like more specific information about North Kita, such as:
* Hiking trails and difficulty levels
* Flora and fauna found in the area
* History and cultural significance
* Nearby attractionsCPU times: user 600 ms, sys: 29.8 ms, total: 630 ms
Wall time: 31.1 s
英語になりましたが、しっかりまとめています。
日本語のプロンプトにして再度チャレンジします。
北岳は、日本の山梨県にある標高3,190mの山です。南アルプス国立公園に属し、日本百名山の一つに数えられています。
**地理:**
* 南アルプスの主峰であり、赤石山脈の最高峰です。
* 北岳、間ノ岳、農鳥岳を合わせて「北岳三山」と呼びます。
* 山頂からは富士山や中央アルプスなどの素晴らしい景色を見ることができます。**登山:**
* 登山道は整備されており、初心者にも比較的登りやすい山です。
* 多くの登山者が訪れる人気の山です。
* 夏には高山植物が咲き乱れ、美しい景色を楽しむことができます。**その他:**
* 北岳周辺には、温泉やキャンプ場などがあります。
* 山梨県南アルプス市にある「北岳山荘」は、登山者のための宿泊施設です。
CPU times: user 526 ms, sys: 16 ms, total: 542 ms
Wall time: 25 s
シンプルに要点をまとめていますね。
