ReplaySSM：重新思考混合模型解碼中的狀態儲存，以加速推論
- Company: NVIDIA
- Platform: rss
- Published: 2026-10-13T00:00:54+08:00
- Source: https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/
主要內容摘要
1. 混合模型以少量注意力層搭配 SSM 層，解碼時 SSM 反成延遲瓶頸
2. ReplaySSM 以檢查點加近期輸入緩衝，取代完整狀態儲存
3. 此法同時處理狀態傳輸、推測解碼回滾與量化誤差累積
為何成為話題
推論速度直接影響大型模型的服務成本與回應體驗。對 AI 業者選擇部署架構、以及開發者在邊緣或雲端跑模型，都有實際影響。
三個爭議點
1. 論文宣稱的加速倍數，需依批次大小與上下文長度分別檢驗
2. 與推測解碼、量化合併使用的效果，在不同硬體上是否一致仍待驗證
3. 重放輸入帶來的額外計算成本，摘要中沒有明確量化