5件のニュース
AIエージェントによるEnterprise Javaのフレームワーク移行精度を測るScarfBenchが公開されました。既存のバグ修正ベンチマークとは異なり、ビルドシステムやランタイム依存関係の解決…
AIエージェントの評価指標として、最終回答だけでなく推論プロセス全体を計測する手法が提案されました。transformersライブラリを例にした検証では、モデルがライブラリをバイパスしてロジックを再…
LLMの個人情報保護能力を測定するベンチマークIDP-Benchが公開されました。従来の単独プライバシー保護に加え、他者のデータが自身のプライバシーに影響する相互依存的状況での漏洩リスクを数値化しま…
ServiceNow Researchは文中で言語を切り替えるコードスイッチングの評価用データセットを公開しました。従来の単一言語前提のモデルに対し、西・仏・独語と英語の混在環境下で性能が大きく変動…
ServiceNowが発表したEVA-Bench 2.0は、35以上のエンタープライズワークフローと121個のツールを含む213個のシナリオを提供します。従来の汎用ベンチマークとは異なり、電話経由の…