vLLM V1で強化学習の推論エンジンにおけるログ確率計算の正確性が向上

ServiceNow-AIは、Hugging Face Blogにて、vLLMのバージョン0からバージョン1への移行における強化学習（RL）推論エンジンの正確性向上について報告しました。特に、RLの最適化ターゲットとしてロールアウト側のログ確率を扱うシステムにおいて、vLLM V1がV0のリファレンスと一致するよう修正が施されています。

vLLM V1はV0エンジンからの大幅な書き換えであり、移行目標は意図的に狭く設定されました。具体的には、vLLM 0.8.5をリファレンスとして、V1では「処理されたロールアウトログ確率」「V1固有のランタイムデフォルト」「インフライト重み更新パス」「最終投影に使用されるfp32 lm_head」の4点が修正されました。これらの修正により、GSPOなどのオンラインRLシステムで発生しうるログ確率の不一致が解消されています。