vLLM V1が強化学習の推論精度を修正、ログ確率計算の不一致を解消しV0との互換性を確保

ServiceNowの研究チームは、大規模言語モデルの推論エンジンであるvLLMのV1（バージョン0.18.1）において、強化学習（RL）実行時のログ確率計算の正確性を向上させたと発表しました。エンジンの大幅な書き換えに伴い、従来のV0（バージョン0.8.5）との間で最適化対象となるトークンのログ確率に乖離が生じていた問題を解消しています。

具体的には、ランタイムのデフォルト設定の不一致、インフライトでの重み更新パス、および最終プロジェクションで使用されるfp32精度のlm_headの処理という4つの主要なバグが修正されました。これにより、GSPOやPPO、GRPOといったオンライン強化学習システムにおいて、推論エンジン側のログ確率をそのまま最適化ターゲットとして扱う際の計算精度が安定しました。

従来のV1環境では学習曲線が赤色の初期試行のように不安定でしたが、修正後のV1ではV0リファレンスと同等の収束性を確認しています。ただし、依然としてfp32精度の適用範囲など細かい数値計算の差異が残る可能性があるため、モデル移行時にはチェックポイント間のログ確率の乖離幅を個別に検証するフローが必要です。