感測器和 IoT 時間序列資料的 AI 訓練流水線準備

工業 IoT 部署現在每天產生數 TB 的感測器資料。旋轉設備上的振動監測器、製程產線上的溫度探頭、液壓系統中的壓力感測器以及結構元件上的聲發射感測器都產生連續的時間序列流。消費這些資料的 AI 模型——用於預測性維護、異常偵測和製程最佳化——只能與供給它們的資料準備流水線一樣好。

原始感測器資料與模型就緒訓練集之間的差距是巨大的。原始感測器流包含通訊失敗導致的缺口、校正衰減導致的漂移、電磁干擾導致的雜訊以及不同步時鐘的時間戳。將這些轉化為乾淨的、視窗化的、已標註的、正確劃分的訓練資料需要一個系統化的流水線來處理每種感測器類型的特定特徵。

按感測器類型的流水線架構

不同的感測器類型產生根本不同的資料特徵。一個一刀切的預處理流水線要麼會過度處理簡單訊號，要麼會處理不足複雜訊號。下表將每種常見感測器類型對應到其流水線需求：

階段 1：擷取和時間戳對齊

感測器資料以各種格式到達，從工業協定（OPC UA、MQTT、Modbus）到歷史資料庫的平面 CSV 匯出，再到資料擷取系統的專有二進制格式。擷取階段必須將所有資料來源正規化為一致的時間索引格式。

時間戳對齊是最被低估的預處理步驟。在多感測器系統中，每個感測器可能有自己的時鐘。一個以 10 kHz 取樣的振動感測器和一個以 1 Hz 取樣的溫度感測器需要在計算任何跨感測器特徵之前對齊到一個共同的時間基準。

Ertas Data Suite 透過其解析節點處理基於 CSV 和 Excel 的感測器資料匯出，Format Normalizer 節點標準化時間戳格式，Anomaly Detector 在下游處理之前標記缺口和不規則性。

階段 2：清洗和降噪

原始感測器資料包含來自多種來源的雜訊，適當的清洗策略取決於每種感測器類型的訊噪比特徵。

常見雜訊源和修復方法：

清洗階段必須在去除雜訊的同時保留真實異常。這是感測器資料準備中的核心矛盾：激進的濾波去除了雜訊，但也可能去除預測性維護模型需要偵測的早期故障特徵。一般原則是在清洗過程中應用最小濾波，然後讓模型架構透過自身學習的表徵來處理剩餘雜訊。

階段 3：視窗策略

時間序列模型不直接消費原始流。資料必須被分割為視窗（固定長度的子序列），這些視窗成為單獨的訓練樣本。視窗設計直接影響模型能學到什麼。

帶重疊視窗的訓練/測試劃分關鍵規則： 重疊視窗絕不能跨越訓練/測試邊界。如果視窗 N 在訓練集中而視窗 N+1（與 N 重疊）在測試集中，模型在訓練期間就看到了測試資料。始終先按時間劃分，然後在每個劃分內進行視窗化。

視窗級特徵工程

對於許多感測器應用，原始視窗化時間序列資料會被每個視窗計算的工程特徵補充或替代：

選擇輸入原始視窗還是工程特徵取決於模型架構。深度學習模型（CNN、LSTM、Transformer）可以在有足夠訓練樣本的情況下從原始資料中學習特徵（通常每類 10,000 個以上的視窗）。經典 ML 模型（Random Forest、XGBoost）需要工程特徵，但在較小資料集上表現良好（每類 500-2,000 個視窗）。

階段 4：異常標註

為監督式異常偵測標註感測器資料與標註影像或文字有根本性的不同。異常是稀有的、通常是模糊的，「正常退化」和「異常行為」之間的界限是領域特定的。

按資料可用性的標註方法：

對於預測性維護，標註視窗的選擇至關重要。一個在時間 T 發生故障的軸承在故障前數天或數週就開始顯示退化特徵。標籤不應是二元的（正常/故障），而應指示剩餘使用壽命（RUL）或退化階段：

• 正常 — 無可偵測的退化
• 早期退化 — 頻域中可見微妙的特徵變化
• 高級退化 — 時域中明顯偏離基線
• 即將故障 — 多個特徵上的明顯異常

階段 5：正規化和縮放

感測器資料跨越截然不同的尺度。振動加速度值可能在 -50 到 +50 g 之間，而溫度讀數從 20 到 200 攝氏度。沒有正規化，模型將不成比例地加權高幅值特徵。

正規化必須僅在訓練集上計算，然後使用訓練集統計量應用於驗證集和測試集。在劃分之前對完整資料集計算正規化統計量會引入資料洩漏。

階段 6：時間序列的訓練/測試劃分

標準的隨機劃分對時間序列資料無效。未來資料絕不能洩漏到訓練集中。時間序列劃分需要時間排序：

絕不要對時間序列感測器資料使用隨機劃分。感測器訊號中的自相關意味著隨機劃分會創造訓練/測試重疊，使準確率指標膨脹 10-30%。

本地化流水線需求

工業感測器資料承載著製造商視為商業機密的營運情報。振動特徵揭示設備狀況、製程參數和生產能力。溫度曲線暴露專有的製程配方。聲學特徵可以指示生產量和設備配置。

對大多數製造商來說，將這些資料傳送到基於雲端的 ML 平台是不可接受的。除了智慧財產權顧慮，工廠網路通常在設計上與網際網路隔離，而頻寬限制使得上傳數 TB 的高頻感測器資料不切實際。

Ertas Data Suite 作為原生桌面應用程式直接解決這個問題，完全在本地處理感測器資料。視覺化流水線畫布使每個預處理步驟可觀測——品質工程師可以準確地看到原始感測器資料如何被清洗、視窗化、正規化和劃分，然後才到達模型。Anomaly Detector 節點在流水線早期標記資料品質問題，Quality Scorer 節點在匯出前量化資料集的適用性。

關鍵要點

為 AI 準備感測器資料不是一個單一的問題——它是關於濾波、視窗化、標註、正規化和劃分的一系列領域特定決策。每種感測器類型需要不同的預處理參數，任何階段出錯都會將誤差傳播到模型效能中。

建構可靠的預測性維護和異常偵測模型的團隊在可觀測、可複現的資料流水線上投入巨大。在生產中掙扎的團隊通常是那些編寫了臨時預處理腳本而沒有日誌、沒有品質檢查、沒有可複現性的團隊。流水線是基礎。