AirLLM、4GBのGPUで70Bモデルの推論を可能にするレイヤー共有技術を公開

開発者のlyogavin氏は、巨大な大規模言語モデル（LLM）を低スペックなGPUで動作させる推論最適化ライブラリ「AirLLM」を公開しました。この技術は、量子化や蒸留、プルーニングといったモデルの精度を損なう手法を用いずに、70Bクラスのモデルをわずか4GBのVRAMを搭載したシングルGPUで実行可能にするものです。

従来、Llama 3.1 405BやDeepSeek-V3といった数百億から数千億パラメータを持つモデルの推論には、H100などの高価なエンタープライズ向けGPUが複数枚必要でした。AirLLMでは、モデル全体をメモリに載せるのではなく、レイヤー単位で逐次ロードして推論を行う独自のメモリ管理を採用しており、8GBのVRAMで405Bモデル、12GB程度で671Bモデルの推論を可能にしています。さらに最新の2.8Tパラメータを誇るKimi K3も、4GB未満のメモリ制約下で動作させることが可能です。

一方で、この手法はメモリ帯域とディスクI/Oに依存するため、全ての重みをVRAMに配置する通常推論と比較して生成速度は大幅に低下します。リアルタイムなチャット用途よりも、計算リソースが限られた環境でのバッチ処理や、プロトタイプ検証、民生用ハードウェアでの巨大モデル動作確認といったユースケースに向いています。利用にあたっては、macOSや各種ノートPC環境向けの構成設定が提供されています。