CreativityBenchが公開、AIエージェントのツール転用による創造的推論能力を評価
研究グループは、AIエージェントの創造的推論能力を測定するための新たなベンチマーク「CreativityBench」を公開しました。このベンチマークは、あらかじめ定義されたツールの使用方法に従うだけでなく、状況に応じてツールの本来の目的とは異なる用途（ツール・リパーパシング）を見出し、問題を解決できるかを評価する点に主眼を置いています。
CreativityBenchでは、物体が持つ潜在的な機能（アフォーダンス）に基づいた推論プロセスを重視しています。従来のベンチマークが定型的なタスクの遂行能力を評価していたのに対し、本手法では予期せぬ制約下でエージェントがどのように創造的な解を導き出すかを数値化します。これにより、大規模言語モデル（LLM）をベースとしたエージェントの柔軟性と、物理的な推論能力の限界をより厳密に比較することが可能になりました。
評価の結果、高度な推論能力を持つとされる最新モデルにおいても、特定の制約条件下ではツールの再利用を導き出せない事例が示されています。実装面では、モデルが学習データに含まれる定型的な解決策に依存する傾向があるため、実運用における動的な問題解決には依然として課題が残る点に留意が必要です。
Related tools
この記事に関連するおすすめツール
比較検討しやすい導入候補を優先して表示しています。一部リンクは広告・アフィリエイトを含む場合があります。
フェレット記者の用語メモ
llm
LLM（大規模言語モデル）は、大量のテキストデータで学習されたAIモデルで、人間のような自然な文章を生成したり、質問に答えたりできるんだ。最近はChatGPTやGeminiが有名だね。ただ、学習データに偏りがあると差別的な表現を生成したり、事実と異なる情報を『もっともらしく』話すハルシネーションを起こしたりする落とし穴があるよ。特に、企業で使う場合は出力のファクトチェックとフィルタリングが必須だね。
比較: BERT
出典: arXiv
要点を短く整理して掲載しています。詳細は出典を確認してください。