vLLM V1で強化学習のロールアウトログ確率計算を修正、V0との整合性を確保

ServiceNow-AIは、Hugging Faceのブログで、vLLM V0からV1への移行における強化学習（RL）の正確性に関する修正点を詳細に解説しました。特に、RLの最適化ターゲットの一部としてロールアウト側のログ確率を扱うオンラインRLシステムにおいて、vLLM V1がvLLM V0（バージョン0.8.5）のリファレンスと一致しない問題が確認されていました。

この不一致を解消するため、vLLM V1（バージョン0.18.1）では、処理されたロールアウトログ確率、V1固有のランタイムデフォルト、インフライト重み更新パス、および最終投影に使用されるfp32 lm_headの4つの主要なバックエンド修正が適用されました。これらの修正により、GSPOトレーニング実行で得られたメトリクスがV0とV1で一致するようになり、PPOやGRPOなど他のオンラインRLシステムでも同様の不一致が表面化する可能性が低減されます。

vLLM V1はV0エンジンからの大幅な書き換えであるため、ServiceNow-AIはRLの目的を変更する前にバックエンドの動作の正確性を優先して修正しました。これにより、推論エンジンがトークンをサンプリングし、トークンログ確率を返す際の信頼性が向上し、強化学習パイプラインにおけるロールアウト生成の安定性が確保されます。