NVIDIA、次世代メモリ技術NVHBMを導入しXPUのメモリ帯域を30%高速化

NVIDIAは、セミカスタムAIインフラストラクチャ向けの次世代広帯域メモリ技術「NVIDIA NVHBM」を公開しました。この技術は、同社のインターコネクト技術であるNVLink Fusionを拡張するもので、ハイパースケーラーが独自のXPU（AIアクセラレータ）を構築する際の性能向上を目的としています。Amazon傘下のAnnapurna Labsが最初のコラボレーションパートナーとして、本技術の検証と採用を計画しています。

従来のHBMアーキテクチャでは、メモリコントローラをXPUのダイ上に配置していましたが、NVHBMではこのコントローラをHBMの3Dスタック内のベースダイに統合しました。この設計変更により、XPUのコンピューティング用ダイ面積を最大25%解放し、より多くの演算ユニットを搭載することが可能になります。性能面では、標準的なHBM4Eと比較して電力効率が15%向上し、データ転送効率が劇的に改善されています。

大規模言語モデルやAIエージェントの処理において、コンピューティング性能だけでなくメモリ帯域がボトルネックとなる中、NVHBMはシステム全体を統合されたユニットとして設計するアプローチをとっています。今後はNVIDIAの次世代GPUでも同様の技術が採用される予定であり、カスタムチップ開発を行う企業にとって、ダイ面積の最適化と電力制約の緩和が重要な検討材料となります。