タグ: #distributedtraining

Google DeepMind、低帯域幅で大規模AIモデルを分散学習する「Decoupled DiLoCo」を発表

Google DeepMindが、大規模AIモデルの分散学習を効率化する「Decoupled DiLoCo」を開発しました。従来の密結合システムに比べ、遠隔データセンター間での学習において帯域幅要件…