訓練故障分診台

• 日期：2026-11-03
• 來源主題：today-official-news

所遇到的問題

分散式訓練中 NCCL 逾時、節點失聯等故障會浪費 GPU 時數，人工排查與從檢查點重啟的負擔隨任務規模增加。

可開發的 APP 主題

訓練故障分診台

這支 APP 能做到什麼

• 匯入訓練日誌，依規則將故障歸類為 NCCL 逾時、節點失聯等類型
• 列出受影響的節點與對應的日誌證據片段，方便回溯
• 依使用者輸入的 GPU 數與檢查點間隔，估算自上次檢查點以來損失的 GPU 時數
• 產出重啟前的檢查清單，並保存每次判讀所用的規則版本以利重現