「プロンプトエンジニアリング」は、意図した通りの出力を得るためにAIへの命令文であるプロンプトを調整する行為です。これまで、プロンプトエンジニアリングは人間のエンジニアによって行われてきましたが、プロンプトの作成自体にもAIを使用した方がパフォーマンスが向上するという研究結果が発表されました。

[2402.10949] The Unreasonable Effectiveness of Eccentric Automatic Prompts

https://arxiv.org/abs/2402.10949

AI Prompt Engineering Is Dead - IEEE Spectrum

https://spectrum.ieee.org/prompt-engineering-is-dead

2022年の秋にChatGPTが登場して以来、プロンプトを工夫することでAIの出力を改善しようとする試みが多数行われてきました。それに伴い、モデルやデータセットなどによって変化する「適切なプロンプト」を見つけ出す専門家としてプロンプトエンジニアが登場しました。

しかし、2024年2月20日に発表されたリック・バトル氏とテジャ・ゴラプディ氏の論文によって、AIによるプロンプトエンジニアリングが極めて効果的である事が示唆され、プロンプトエンジニアという職業がAIに取って代わられる可能性が表面化しました。



バトル氏とゴラプディ氏は3つのAIモデルに小学校の算数の問題を解かせるというタスクにおいて、それぞれ60個の異なるプロンプトを用意して結果を比較したとのこと。「推論を段階的に説明して」のような思考連鎖と呼ばれるテクニックが有効に働く時もあれば、逆にパフォーマンスが悪化する場合もあり、両氏は「唯一のトレンドは、トレンドがないこと」「最適なプロンプトはモデルやデータセットごとに異なる可能性がある」と指摘しています。

このようにプロンプトエンジニアリングでは最適な手法についての一貫性が存在しておらず、試行錯誤が必要です。そこでバトル氏とゴラプディ氏はプロンプトを自動で生成するツールを作成し、プロンプトによる出力結果を評価し、評価をもとに再びツールでプロンプトを作成するというループを行いました。その結果、人間がプロンプトエンジニアリングを行う場合に比べて時間が数日間から数時間へと短縮されると同時に、最終的なAIの出力結果も改善されたとのこと。

アルゴリズムによって生成されたプロンプトの中には「指揮官、この乱気流の進路を計画し、異常の原因を突き止めてください。利用可能なすべてのデータと専門知識を活用して、この困難な状況を乗り越えてください」というような奇妙なものも含まれていました。

こうしたプロンプトを自動生成する取り組みは他にも行われており、インテルラボのシャチャー・ローゼンマン、ヴァスデフ・ラル、フィリップ・ハワードの3名はNeuroPromptsというプロンプト自動強化ツールを作成しました。

このツールは画像生成AIのStableDiffusionに対して、人間の作成したプロンプトを入力する前に、AIが適切なプロンプトを自動で追記してから入力するというもの。以下は「A robot is playing the piano(ピアノを弾くロボット)」というプロンプトを実行しようとしたときの実例。右下に並んでいる2枚の画像は、左がAIにより追記されたプロンプトによる出力結果、右は人間が入力したプロンプトそのままの出力結果で、AIが追記を行う事で重厚感のある高品質な画像が生成されていることが分かります。



「A boy on a horse(馬に乗った少年)」という例では下図の通り。そのままStableDiffusionに入力すると左側に表示されている古い写真のような画像が出力されますが、NeuroPromptsでプロンプトを強化すると右側のように「より美しい」画像が出力されます。



NeuroPromptsを開発した研究者の1人であるラル氏は「こうしたプロンプトの最適化を調査し、基本モデル自体に組み込むことで複雑なプロンプトエンジニアリングのステップを不要にすることが重要だ」と将来的にプロンプトエンジニアが不要になるはずだという考えを述べました。