Hugging FaceにてLLMのブロック削減を物理学のイジングモデルで最適化する手法が公開

Multiverse Computingは、大型言語モデル（LLM）の圧縮において、トランスフォーマーブロックの削除選択を物理学のイジングモデル（スピン系）として定式化する新しい手法を発表しました。従来の手法は各ブロックの重要度を独立して評価する「平均場」的なアプローチが主流でしたが、本手法はブロック同士の依存関係を「結合」として扱い、エネルギー最小化問題として解く点が特徴です。

具体的には、各ブロックに対して保持（0）か削除（1）かのバイナリ変数を割り当て、モデル損失の2次テイラー展開から得られるヘッシアン行列を用いて、ブロック間の相互作用を定義します。この定式化により、特定のブロックを削除した際の影響が別のブロックの有無に依存する状況を正確にモデル化できるようになり、量子アニーリングや量子インスパイア計算を用いた厳密な最適化が可能になりました。

実験結果では、高密度なトランスフォーマーモデルにおいて、従来の感度分析やマグニチュードベースの削除手法を上回る汎用性が示されています。ただし、ブロック間の相互作用を計算するためにヘッシアン行列の対角成分および非対角成分を算出する必要があり、モデルが深層化・複雑化するほど計算コストが増大する制約についても言及されています。