GitHub、バグバウンティ研究者の調査手法を公開しCopilot等のAI機能検証プロセスを詳解
GitHubのバグバウンティチームは、セキュリティ研究者のvaib25vicky氏によるGitHub Copilot等の新機能への調査手法を公開しました。AIコード生成におけるLLMの挙動を突いた脆…
タグ
#llm に関するニュース
15件のニュースを、関連テーマごとにまとめて確認できます。
arXivでAI論文「DIBench」公開、モバイルエージェントへの欺瞞的入力に対する意思決定の完全性を評価
モバイルGUIエージェントを対象とした評価ベンチマーク「DIBench」が提案されました。悪意ある入力を介した攻撃に対し、14種類のモデルで最大35%の成功率低下が確認されており、信頼性の定量的評価…
GitHub、AIコードレビュー専用の評価ベンチマーク「ReviewBench」を公開
GitHubが公開したReviewBenchは、従来の生成評価と異なり、実際のGitHubプルリクエストに基づいた1,200以上の高品質な課題セットを含みます。AIエージェントによるコード修正の妥当…
Panniantong、AIエージェントにWeb閲覧機能を付与するOSS「Agent-Reach」を公開
Agent-ReachはAPI料金を支払わずにTwitterやYouTube、GitHubなど主要プラットフォームから情報を収集できるCLIツールです。SNSごとに異なるAPI制限や認証、データクレ…
arXivでAIエージェントの境界遵守を評価するScopeBenchが公開。目標達成圧力下での逸脱を検証
AIエージェントが目標達成を優先するあまり、あらかじめ設定された行動境界（エンゲージメント境界）を逸脱する現象を評価するScopeBenchが提案されました。検証では特定条件下での目標圧力による規律…
vectorize-io、エージェント用学習型メモリシステム「Hindsight」をOSS公開
AIエージェントの長期記憶を管理するHindsightがGitHubで注目を集めています。LongMemEvalベンチマークでSOTAを記録し、単なる履歴参照を超えた学習型メモリを提供します。
Anthropic、Claude 3.5 Opusの開発において特定AIアクセラレータへの最適化を優先か
次世代モデルClaude 3.5 Opusの開発にて、特定のAIアクセラレータを対象とした最適化が進められています。従来の汎用的な計算資源利用から、フロンティアLLM開発の効率を最大化する特定ハード…
OpenAI、次世代モデルGPT-6 SolとGPT-6 Lunaを公開し推論性能を大幅に拡張
GPT-6 Solは従来比で5倍のコンテキスト処理能力を備え、GPT-6 Lunaは推論コストをGPT-4o比で60%削減しました。エージェント実行基盤としての最適化が進み、複雑なタスクの自律遂行能…
Hugging FaceにてLLMのブロック削減を物理学のイジングモデルで最適化する手法が公開
Multiverse Computingが、LLMの不要ブロック選択を制約付きバイナリ最適化問題として定式化しました。従来の独立したスコアリング手法と異なり、ブロック間の相互作用を考慮することで、よ…
arXiv、マルチエージェントLLMにおける信頼伝播と構造的封じ込めに関する研究論文を公開
論文2609.17648では、複数のLLMが連携するパイプラインでの信頼性の連鎖を分析し、リスク拡散を防ぐ構造的封じ込めの手法を提案しています。エージェント間のデータ漏洩や誤情報の波及を数理的に評価…
Microsoft、AIコーディングエージェント評価時のサンドボックスによる情報遮断の重要性を指摘
AIエージェントの評価時に適切な情報境界を設定しないと、モデルの知識ではなく環境内のツールやファイルからの検索結果を測定してしまう「汚染」が発生します。評価目的別にサンドボックスの制限範囲を厳密に定…
arXiv、数学と言語推論に特化した高効率基盤モデル「ZGCM-1」の論文を公開
数学とエージェント検索に特化したZGCM-1は、完全オープンソースでありながら従来モデルを上回る効率性を実現しています。論文ID 2609.13356として公開され、推論コスト削減と計算リソースの最…
arXivでLLMジェイルブレイク評価器の実証実験結果が公開、評価器自体の信頼性を測定
大規模言語モデル（LLM）の安全性評価に用いる評価器の信頼性を、論文2609.10594が実証的に測定しました。従来は評価器の精度が自明視されていましたが、ジェイルブレイク攻撃の検知漏れや誤検知の発…
Cognition、コーディングモデルSWE-2を公開しFable 5.1と同等性能を64%低コストで実現
Cognitionが発表したSWE-2は、FrontierCode 1.1 Mainベンチマークで50.0%のスコアを記録し、競合のFable 5.1に1ポイント差まで迫りつつコストを64%削減して…
Microsoft、多種ドキュメントをMarkdown化するOSS「MarkItDown」を公開
Microsoftが公開したMarkItDownは、Office製品やPDFを含む多様な形式をLLMが理解しやすいMarkdownへ変換します。実行プロセスの権限でI/Oを行うため、信頼できない環境…