CreativityBenchが公開、AIエージェントのツール転用による創造的推論能力を評価

研究グループは、AIエージェントの創造的推論能力を測定するための新たなベンチマーク「CreativityBench」を公開しました。このベンチマークは、あらかじめ定義されたツールの使用方法に従うだけでなく、状況に応じてツールの本来の目的とは異なる用途（ツール・リパーパシング）を見出し、問題を解決できるかを評価する点に主眼を置いています。

CreativityBenchでは、物体が持つ潜在的な機能（アフォーダンス）に基づいた推論プロセスを重視しています。従来のベンチマークが定型的なタスクの遂行能力を評価していたのに対し、本手法では予期せぬ制約下でエージェントがどのように創造的な解を導き出すかを数値化します。これにより、大規模言語モデル（LLM）をベースとしたエージェントの柔軟性と、物理的な推論能力の限界をより厳密に比較することが可能になりました。

評価の結果、高度な推論能力を持つとされる最新モデルにおいても、特定の制約条件下ではツールの再利用を導き出せない事例が示されています。実装面では、モデルが学習データに含まれる定型的な解決策に依存する傾向があるため、実運用における動的な問題解決には依然として課題が残る点に留意が必要です。