GSM8Kが78％から85％に向上、数学愛好者大喜び

AIMPACTの報告によると、Amazonの科学者たちはPromptimusと呼ばれる自動化されたプロンプトエンジニアリングフレームワークを提案し、人工介入なしで高品質なLLMのプロンプトを改善できると述べている。反復最適化戦略と補助最適化モデルを用いて、プロンプトとモデル出力の相互作用を分析し、指示の明確さや例の選択などの側面を自動的に調整する。複数のベンチマークで平均5-15%の向上を示し、その中でGSM8Kの数学推論は78%から85%に向上し、常識質問応答やコード生成などのタスクも含まれる。フレームワークは汎用性があり、特定のLLMアーキテクチャやタスクに依存しない。正則化や交差検証と組み合わせることで過剰最適化を防ぎ、一般化能力を確保している。