地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

ColabでGEPAを参考にプロンプト最適化を考えてみる。

プロンプトを「Reflection(自然言語による自己反省)」と「Genetic-Pareto Optimization(進化的パレート最適化)」するという論文が紹介されてました。参考にしつつ、分かる部分範囲で試してみます。なお、論文の実装の検証目的ではありません。論文にはさらに複雑なものを取り扱っています。

 

ColabのL4環境で検討します。

最適化対象モデル: gemma3
評価/Optimizerモデル: gpt-oss:20b

として、どちらもollama公式の量子化モデルです。評価/Optimizerモデルは性能が高いものであればあるほど良いでしょう。今回は気軽に動かせて、Colab上で簡潔できるものを選択しました。

 

arxiv.org

 

評価モデルや次の進化モデルの提案はLLMにお任せとしました。ここの評価・進化のLLMへの指示は、肝だと思います。が、今回は単純化して入れ込みました。

 

初期プロンプト

                "提供する回答は簡潔にしてください。",
                "詳細な説明をお願いします。",
                "要点をまとめてください。",
                "創造的な物語を書いてください。",
                "ステップバイステップで説明してください。",
                "専門家のように回答してください。",
                "フレンドリーな口調で回答してください。",

 

として、最適化を試みます。最適化をしてみると・・・。

=======================================================
✅ 最適化サイクルが完了しました
総実行時間: 4261.46 秒
=======================================================
最終的な最良プロンプト: '簡潔で要点のみを押さえた回答をお願いします。'
最終平均スコア: 84.40

 

なるほど・・・。時間かかった割にシンプルです。

このプロンプトで生成してみます。

 

タスク: 人工知能の未来について簡潔に論じてください。
応答:
## 人工知能の未来:要約

人工知能(AI)の未来は、以下の3つの要素で大きく変化すると予想されます。

1. **汎用AI (AGI) の進展:** 現在のAIは特定のタスクに特化していますが、より人間のような汎用的な知能(AGI)の開発が進む可能性があります。これにより、人間のように多様な問題を解決できるようになります。

2. **AIの社会への浸透:** AIは、医療、金融、製造、教育など、あらゆる産業に不可欠な存在となります。自動化が進み、生産性向上に貢献するだけでなく、新たなビジネスモデルやサービスを生み出すでしょう。

3. **倫理・規制の強化:** AIの進化に伴い、倫理的な問題(バイアス、プライバシー、雇用など)や規制に関する議論が活発化し、AIの責任ある利用を促進するためのルール作りが進むと考えられます。

**まとめ:** AIは、私たちの生活や社会を根底から変える可能性を秘めていますが、その進展は倫理的・社会的な課題と密接に関連していくでしょう。

---

いかがでしょうか?ご要望に応じて、さらに詳細な情報や特定の側面への焦点を当てた議論も可能です。

 

悪くない答えではあります。

 

次は、初期値としてゴールシークプロンプトを与えてみます。以下のサイトのプロンプトを利用しました。当初は本当によくできたプロンプトで利用していました。プロンプトは以下からご参照ください。

シュンスケ式プロンプト | 生成AIプロンプト研究所「チャプロAI」

 

=======================================================
✅ 最適化サイクルが完了しました
総実行時間: 14633.17 秒
=======================================================
最終的な最良プロンプト: 'Present your information in a clear, ordered format—either bullets or numbers—and support each item with concrete examples.'
最終平均スコア: 84.07

 

長くかかってしまいましたが、英語でかつこれもシンプルなプロンプトが良いとの結論に達しています。評価用データが同じだからでしょうけれども、結果的に最初の結果とセンス的には似ています。

 

プログラム実行中にJson出力うまく行かなくてエラー吐いていますが、評価落ちになるだけなので、今回は無視しています。改良ポイントとしては他には、LLMの問題なのかもしれませんが、長いプロンプトの取り扱いにプログラム自体の問題もありそうです。

 

さて、これを使って生成させてみます。

 

--- 最終プロンプト 'Present your information in a clear, ordered forma...' の最終テスト ---
タスク: 人工知能の未来について簡潔に論じてください。
応答:
承知いたしました。人工知能(AI)の未来について、簡潔かつ構造的に論じます。以下の構成で、具体的な例を交えながら説明します。

**人工知能の未来:予測と可能性**

**1. 超パーソナライズされた体験(2025年頃まで)**

*   **説明:** AIは個人のニーズ、嗜好、行動パターンを学習し、その情報に基づいて、あらゆるサービスや製品を最適化します。
*   **例:**
    *   **医療:** 個人の遺伝情報や生活習慣に基づいて、最適な治療法や予防策が提案される。AIが患者の症状をリアルタイムで分析し、医師の診断を支援する。
    *   **教育:** 個人の学習ペースや理解度に合わせて、AIが学習教材をカスタマイズする。生徒の弱点を特定し、個別の指導計画を提案する。
    *   **Eコマース:** 過去の購入履歴や閲覧履歴に基づいて、顧客の好みに合った商品を自動的にレコメンドする。AIチャットボットが顧客の質問にリアルタイムで対応する。

**2. AIの創造性と自動化の拡大(2025-2035年頃)**

*   **説明:** AIは、より複雑なタスクの実行、創造的な活動への関与、そして人間のような判断能力の獲得に向けて進化します。
*   **例:**
    *   **アートと音楽:** AIが既存のスタイルを学習し、独自の芸術作品や音楽を生成する。例えば、AIが個人の感情を理解し、それに対応した音楽を自動作曲する。
    *   **ソフトウェア開発:** AIがコードを自動生成し、テストを行い、バグを修正する。これにより、ソフトウェア開発のスピードが大幅に向上する。
    *   **デザイン:** AIが顧客の要求に基づいて、ロゴやウェブサイトのデザインを自動生成する。
    *   **研究開発:** AIが膨大なデータを分析し、新薬の発見や材料開発を加速する。

**3. 社会インフラへの統合と課題(2035年以降)**

*   **説明:** AIは、交通、エネルギー、都市計画など、社会のあらゆるインフラに組み込まれ、効率性と持続可能性を高めます。しかし同時に、雇用、倫理、セキュリティに関する課題も顕在化します。
*   **例:**
    *   **自動運転:** AIが安全かつ効率的に運転を行い、交通渋滞を緩和し、交通事故を減らす。
    *   **スマートシティ:** AIがエネルギー消費を最適化し、資源を効率的に利用する。また、AIが都市の安全を監視し、犯罪を予防する。
    *   **倫理的課題:** AIの判断におけるバイアス、プライバシー保護、AIの責任に関する議論が活発化する。
    *   **雇用への影響:** AIによる自動化が進むことで、一部の職種が消滅する可能性があり、新たなスキル習得の必要性が高まる。

**結論:**

人工知能の未来は、技術革新の加速と社会への統合によって大きく変化します。AIの潜在能力を最大限に活用するためには、技術開発だけでなく、倫理、社会、経済に関する議論を深め、人間とAIが共存できる未来を構築していく必要があります。

---

いかがでしょうか?ご希望に応じて、特定の分野(例えば、医療AI、金融AIなど)に焦点を当てた詳細な論述も可能です。また、さらに具体的な質問があれば、お気軽にお尋ねください。

 

こちらの方が、自分的によいレスポンスだと思います。ローカルLLMですが、gemma3:4b恐るべし?マルチリンガルなモデルの場合は、プロンプトが英語の方が指示は聞きやすいローカルモデルもありますので、英語でシンプルなプロンプトというのは正解の一つなのかもしれません。

これらの結果は、評価データセット次第で変わります。これも目的によったデータセットをGPT-5やGemini Proなどなど高性能なLLMを使って生成させたものを使うことになると思います。また、小型の推論モデルであれば、評価スコアに生成時間を入れてもいいかもしれません。

色んなモデルが使えるようになって、ますます楽しみですね。


gist.github.com