Google DeepMind、低帯域幅で分散AI学習を可能にする「Decoupled DiLoCo」を発表

Google DeepMindは、大規模言語モデル（LLM）などのフロンティアAIモデルを複数の遠隔データセンターに分散して学習させるための新アーキテクチャ「Decoupled DiLoCo (Distributed Low-Communication)」を発表しました。これは、従来の密結合システムが抱える同期維持の課題を解決し、低帯域幅環境でも高い耐障害性で学習を継続できる点が特徴です。

従来のフロンティアAIモデルの学習は、同一チップ群がほぼ完璧な同期を保つ密結合システムに依存していました。この手法は現在の最先端モデルには有効ですが、将来的なモデル規模の拡大においては、この同期レベルを維持することが困難になると予想されていました。Decoupled DiLoCoは、大規模な学習プロセスを「コンピューティングアイランド」と呼ばれる疎結合なサブシステムに分割し、非同期でデータをやり取りすることで、局所的な障害がシステム全体に波及するのを防ぎます。

この新しい分散アーキテクチャは、データセンター間の通信遅延が課題となり実用化が難しかった従来の分散学習手法（Data-Parallelなど）とは異なり、グローバル規模でのモデル学習を可能にします。これにより、より多くのコンピューティングリソース、多様なロケーション、異なるハードウェアを活用して、規模と複雑さが増すフロンティアモデルの学習を柔軟かつ効率的に進められるようになります。