如何為受監管行業構建氣隙 AI 管線

您已決定您的 AI 管線必須在氣隙環境中運行——與互聯網物理隔離，沒有例外。也許您的數據是機密的。也許您的監管機構要求這樣做。也許您的安全團隊進行了風險評估，得出任何外部連接對這個特定工作負載都是不可接受的結論。

本文不是關於您是否需要氣隙操作的問題。（如果您不確定，請參見我們的氣隙與本地部署與自託管部署指南了解決策框架。）本文涵蓋在構建永遠不會接觸互聯網的 AI 系統時，您需要在每個管線階段做出的架構決策。

管線有五個階段。每個階段有不同的硬體要求、不同的工具限制，以及在連接被移除時不同的失敗模式。我們將逐一介紹每個階段。

---

管線架構概覽

氣隙 AI 管線與任何其他 ML 管線具有相同的邏輯階段。不同之處在於，每個階段的每個組件都必須在零外部連接的情況下運行——沒有 API 調用、沒有許可服務器、沒有 CDN 托管資產、沒有遙測、沒有依賴下載。

┌──────────┐   ┌──────────┐   ┌──────────┐   ┌──────────────┐   ┌──────────┐
│  Ingest  │──▶│  Clean   │──▶│  Label   │──▶│  Augment     │──▶│  Export  │
│          │   │          │   │          │   │  (Synthetic)  │   │          │
│ OCR      │   │ PII/PHI  │   │ NER      │   │ Local LLM    │   │ JSONL    │
│ PDF      │   │ Redact   │   │ Classify │   │ Inference     │   │ COCO     │
│ Layout   │   │ Normalize│   │ BBox     │   │              │   │ CSV      │
└──────────┘   └──────────┘   └──────────┘   └──────────────┘   └──────────┘
       │              │              │              │                   │
       ▼              ▼              ▼              ▼                   ▼
   [Audit Log]   [Audit Log]   [Audit Log]   [Audit Log]         [Audit Log]

每個階段都寫入本地稽核日誌。在氣隙環境中，稽核追蹤是您關於數據發生了什麼的唯一證據。沒有雲端日誌服務可以作為後備。

---

第一階段：數據攝入

數據攝入將原始企業文件——PDF、Word 文件、掃描圖像、電子表格、電子郵件——轉換為機器可讀的文本和結構化內容。在氣隙環境中，這意味著所有解析和 OCR 必須嵌入到應用程序中。

架構決策

OCR 引擎選擇：您需要完全在本地運行的 OCR，沒有外部 API 調用，也沒有依賴互聯網的模型下載。

對於氣隙環境，Tesseract 和 PaddleOCR 是主要選項。Tesseract 部署更廣泛，對離線安裝有更好的文件。PaddleOCR 通常在複雜佈局（多列、表格、混合文本/圖像）上產生更好的結果，但需要更謹慎的離線安裝依賴管理。

PDF 解析：PDF 解析有兩種模式——文本提取（用於數字創建的 PDF）和 OCR 提取（用於掃描的 PDF）。大多數企業文件集同時包含兩者。

氣隙推薦：Docling（IBM Research，開源）用於主要解析，PyMuPDF 作為更簡單文件的備用。Docling 的表格提取準確性（基準測試 97.9%）對於表格包含關鍵結構化數據的企業文件非常重要。

攝入的硬體要求

存儲乘數考慮了原始文件和提取的結構化輸出（JSON、文本、元數據）。

---

第二階段：清洗和去識別化

清洗將原始提取的文本轉換為標準化的一致內容。去識別化偵測和編輯個人身份信息（PII）和受保護的健康信息（PHI）。在氣隙環境中，所有用於實體偵測的 NLP 模型必須在本地運行。

架構決策

PII/PHI 偵測方法：您有兩種選擇——基於規則的模式匹配，或基於 NLP 模型的命名實體識別（NER）。實際上，您需要兩者。

推薦的氣隙方法：疊加兩種方法。對結構化識別符（SSN、電話號碼、電子郵件、醫療記錄號、日期）使用正規表達式模式。對非結構化識別符（自由文本中的姓名、組織、位置）使用本地加載的 NER 模型（spaCy 或量化 transformer）。

對於 HIPAA 監管的數據，去識別化必須滿足安全港方法（刪除 18 個特定識別符類別）或專家確定方法。正規表達式捕獲大多數結構化識別符。NER 捕獲非結構化識別符。在自動去識別化後的人工審查階段是 HIPAA 合規的標準做法。

數據標準化：氣隙環境通常處理數十年積累的文件——不同的編碼方案、不一致的日期格式、舊字符集。標準化將這些轉換為一致的 UTF-8 編碼、標準化的日期格式和一致的空白處理。這在計算上很廉價，沒有連接要求。

清洗的硬體要求

---

第三階段：標注和注釋

標注是領域專家為處理的數據分配類別、實體、邊界框或品質分數的地方。在氣隙環境中，標注界面必須完全從本地主機提供——沒有外部 CDN 資產、沒有雲端同步項目、沒有從遠程服務器加載腳本的基於瀏覽器的工具。

架構決策

注釋工具選擇：大多數現代注釋工具是假設網路連接的 Web 應用程序。即使是自託管版本也常常從 CDN 加載 JavaScript 庫、分析腳本或來自外部服務器的字體文件。

Label Studio 注意事項：Label Studio 可以自託管，但自託管版本必須稽核外部調用。以前的版本從外部 CDN 加載 Google Fonts、包含分析腳本，並進行更新檢查調用。在氣隙環境中，這些調用靜默失敗或導致錯誤。您需要通過檢查網路流量來驗證——您的自託管 Label Studio 實例不發出任何外部 HTTP 請求。

氣隙推薦：對於 NLP 注釋，Prodigy 是最可靠的氣隙選項——它是一個沒有 Web 依賴的 Python 庫，完全從本地主機提供其 UI。取捨是它需要 Python 環境，這限制了非技術領域專家的可訪問性。

對於非技術領域專家（醫生、律師、工程師）需要直接訪問標注界面的組織，不需要終端、Python 或瀏覽器連接的原生桌面注釋工具是最佳選擇。這是 Ertas Data Suite 採用的方法——一個原生桌面應用程序，整個注釋界面在本地運行，零網路依賴。

標注的硬體要求

標注是計算密集程度最低的階段。它主要是一種有軟體輔助的人類活動。

---

第四階段：合成數據擴增

合成數據擴增使用 LLM 從現有標注數據生成額外的訓練示例。在氣隙環境中，這需要在本地運行 LLM 推理——沒有雲端 API，沒有外部模型端點。

架構決策

本地 LLM 運行時選擇：

氣隙推薦：Ollama 用於通用擴增。它支持廣泛的 GGUF 模型，具有直接的離線安裝（複製二進制文件 + 模型文件），並在本地主機上提供 OpenAI 兼容的 API。對於 Microsoft 生態系統首選的環境，Foundry Local 是替代選項——取捨是模型選擇較窄。

擴增的模型選擇：

對於大多數企業擴增任務——生成改述、創建分類變體、擴展實體示例——8B-14B 量化模型是實際的最佳點。品質足夠，硬體要求可管理，模型文件（4-10 GB）可通過可移動媒體傳輸。

擴增的硬體要求

強烈推薦 GPU 用於擴增。7B 模型的僅 CPU 推理可行，但生成數據速度慢 5-10 倍，當您需要生成數千個合成訓練示例時，這很重要。

---

第五階段：匯出

匯出將處理、標注和擴增的數據轉換為下游訓練和部署系統可使用的格式。在氣隙環境中，匯出目標是本地存儲——永遠不是雲端對象存儲。

架構決策

匯出格式選擇取決於下游用例：

稽核追蹤匯出：在受監管環境中，訓練數據本身是不夠的。您還必須匯出：

• 數據沿襲（哪個源文件產生了哪個訓練示例）
• 轉換日誌（每次清洗、編輯和修改及時間戳）
• 操作員日誌（誰標注了什麼、何時以及他們改變了什麼）
• 品質指標（注釋者間一致性、置信度分數）

對於歐盟 AI 法案第 30 條合規，此稽核文件必須附帶訓練數據並可供檢查。對於 HIPAA，去識別化稽核追蹤必須證明 PHI 在用於訓練之前被適當刪除。

匯出的硬體要求

---

傳輸機制：將軟體和模型引入氣隙環境

氣隙 AI 最被忽視的方面是初始設置。您無法從互聯網安裝軟體。您無法下載模型權重。一切都必須通過批准的物理渠道傳輸。

物理媒體傳輸

機密和氣隙環境的標準方法：

1. 在有連接的機器上準備：將所有軟體安裝程序、依賴、模型權重和配置文件下載到乾淨、格式化的驅動器上
2. 安全掃描：通過您組織的惡意軟體掃描和安全審查過程運行媒體
3. 保管鏈：記錄準備媒體的人、內容和傳輸時間
4. 在氣隙機器上安裝：從批准的媒體複製文件到目標系統
5. 驗證完整性：將已安裝文件的校驗和（SHA-256）與準備的清單進行比較

對於模型權重：7B GGUF 模型大約為 4-6 GB。70B 模型為 35-45 GB。USB 驅動器或便攜式 SSD 可以輕鬆處理這些大小。較大的數據集（數百 GB 的源文件）可能需要便攜式 NAS 設備或多個驅動器。

單向數據二極管

對於具有更複雜氣隙網路的組織，硬體數據二極管提供單向傳輸機制。數據流入氣隙網路，但無法流出。這用於可移動媒體也受限制的國防和關鍵基礎設施環境。

數據二極管允許自動、定期地將模型更新和軟體補丁傳輸到氣隙環境，而不會創建任何出站數據路徑。

必須預先暫存的內容

在隔離機器之前，傳輸以下所有內容：

完整氣隙 AI 管線的總預暫存：大約 10-70 GB，具體取決於您包含多少個 LLM 模型。

---

合規映射：誰實際上需要氣隙？

並非每項法規都要求氣隙操作。了解哪些法規需要哪種部署模型可以防止過度工程設計。

實際指導：機密/國防數據和關鍵基礎設施 OT 網路需要氣隙。大多數受監管行業（醫療保健、金融、法律）的本地部署就足夠了。對於需要司法管轄控制但不需要物理隔離的數據，主權雲（國內提供商）是可接受的。

---

綜合起來：參考架構

受監管企業的完整氣隙 AI 管線：

硬體：

• 工作站或伺服器：16+ 核，64 GB RAM，NVIDIA RTX 4090（24 GB VRAM）或 A6000（48 GB VRAM）
• 本地存儲：活動項目的 2+ TB NVMe SSD，加上存檔的 NAS
• 可移動媒體站：用於初始設置和定期模型/軟體更新

軟體堆疊：

• 操作系統：Linux（Ubuntu/RHEL）或 Windows，在隔離前完全更新
• 攝入：Docling + PyMuPDF + Tesseract/PaddleOCR
• 清洗：spaCy NER + 正規表達式模式 + 自定義規則
• 標注：原生桌面注釋工具（無 Docker、無瀏覽器依賴）
• 擴增：Ollama + Llama 3.1 8B（GGUF Q4）
• 匯出：JSONL + 稽核追蹤生成器
• 推理運行時：Ollama、llama.cpp 或 Foundry Local

估計硬體成本：工作站構建（RTX 4090 級）8,000-15,000 美元，或伺服器構建（A6000 級）20,000-40,000 美元。與等效計算的雲端 GPU 成本（每小時 2-4 美元）相比——本地硬體在 6-18 個月的連續使用中可以收回成本。

此架構處理從原始文件到 AI 就緒訓練數據的完整管線，完全在氣隙邊界內，每個階段都有完整的稽核追蹤。

---

相關閱讀

• 氣隙機器學習：如何在沒有網路訪問的情況下構建 AI 數據管線 — 氣隙與本地部署與自託管部署的概念概覽，以及每個管線階段的工具分析。
• 企業主權 AI：2026 年的含義和重要性 — AI 主權的三個層次及其對受監管企業的重要性。
• 主權 AI 與雲端 AI：各國和地區的數據居留要求 — AI 系統數據居留要求的各國參考指南。