DeepMind、低帯域幅と高耐障害性を実現する分散AI学習アーキテクチャ「Decoupled DiLoCo」を発表

DeepMindは、大規模なAIモデルの学習における課題を解決するため、新しい分散アーキテクチャ「Decoupled DiLoCo (Distributed Low-Communication)」を発表しました。これは、遠隔地のデータセンター間で大規模言語モデル（LLM）を効率的に学習させることを目的としており、低帯域幅環境での通信効率とハードウェアの耐障害性を向上させます。

従来のフロンティアAIモデルの学習は、同一チップがほぼ完璧な同期を保つ密結合システムに依存していました。この方法は現在の最先端モデルには有効ですが、将来的な規模拡大においては、この同期レベルを維持することが困難になるとDeepMindは指摘しています。Decoupled DiLoCoは、大規模な学習プロセスを「アイランド」と呼ばれる分離された計算ユニットに分割し、非同期データフローによってユニット間を接続します。

この非同期アプローチにより、特定の計算アイランドで発生した障害がシステム全体に波及するのを防ぎ、学習プロセスの回復力を高めます。また、従来のデータ並列処理などの分散手法で課題となっていた通信遅延の問題を克服し、グローバル規模での実用性を確保します。これにより、地理的に分散したデータセンターや多様なハードウェア環境でのモデル学習がより柔軟になります。

実務面では、この技術は、AIモデルの学習インフラ構築において、データセンター間のネットワーク要件を緩和し、より広範なリソース活用を可能にする可能性があります。特に、大規模な計算リソースを単一の場所に集約することが難しい企業にとって、分散環境でのモデル開発が現実的な選択肢となるでしょう。ただし、非同期処理の特性上、学習の収束性やデバッグの複雑さなど、新たな運用上の課題が生じる可能性も考慮する必要があります。