如何為受監管行業構建氣隙 AI 管線

您已決定您的 AI 管線必須在氣隙環境中運行——與互聯網物理隔離，沒有例外。也許您的數據是機密的。也許您的監管機構要求這樣做。也許您的安全團隊進行了風險評估，得出任何外部連接對這個特定工作負載都是不可接受的結論。

本文不是關於您是否需要氣隙操作的問題。（如果您不確定，請參見我們的氣隙與本地部署與自託管部署指南了解決策框架。）本文涵蓋在構建永遠不會接觸互聯網的 AI 系統時，您需要在每個管線階段做出的架構決策。

管線有五個階段。每個階段有不同的硬體要求、不同的工具限制，以及在連接被移除時不同的失敗模式。我們將逐一介紹每個階段。

管線架構概覽

氣隙 AI 管線與任何其他 ML 管線具有相同的邏輯階段。不同之處在於，每個階段的每個組件都必須在零外部連接的情況下運行——沒有 API 調用、沒有許可服務器、沒有 CDN 托管資產、沒有遙測、沒有依賴下載。

┌──────────┐   ┌──────────┐   ┌──────────┐   ┌──────────────┐   ┌──────────┐
│  Ingest  │──▶│  Clean   │──▶│  Label   │──▶│  Augment     │──▶│  Export  │
│          │   │          │   │          │   │  (Synthetic)  │   │          │
│ OCR      │   │ PII/PHI  │   │ NER      │   │ Local LLM    │   │ JSONL    │
│ PDF      │   │ Redact   │   │ Classify │   │ Inference     │   │ COCO     │
│ Layout   │   │ Normalize│   │ BBox     │   │              │   │ CSV      │
└──────────┘   └──────────┘   └──────────┘   └──────────────┘   └──────────┘
       │              │              │              │                   │
       ▼              ▼              ▼              ▼                   ▼
   [Audit Log]   [Audit Log]   [Audit Log]   [Audit Log]         [Audit Log]

每個階段都寫入本地稽核日誌。在氣隙環境中，稽核追蹤是您關於數據發生了什麼的唯一證據。沒有雲端日誌服務可以作為後備。

第一階段：數據攝入

數據攝入將原始企業文件——PDF、Word 文件、掃描圖像、電子表格、電子郵件——轉換為機器可讀的文本和結構化內容。在氣隙環境中，這意味著所有解析和 OCR 必須嵌入到應用程序中。

架構決策

OCR 引擎選擇：您需要完全在本地運行的 OCR，沒有外部 API 調用，也沒有依賴互聯網的模型下載。

對於氣隙環境，Tesseract 和 PaddleOCR 是主要選項。Tesseract 部署更廣泛，對離線安裝有更好的文件。PaddleOCR 通常在複雜佈局（多列、表格、混合文本/圖像）上產生更好的結果，但需要更謹慎的離線安裝依賴管理。

PDF 解析：PDF 解析有兩種模式——文本提取（用於數字創建的 PDF）和 OCR 提取（用於掃描的 PDF）。大多數企業文件集同時包含兩者。

氣隙推薦：Docling（IBM Research，開源）用於主要解析，PyMuPDF 作為更簡單文件的備用。Docling 的表格提取準確性（基準測試 97.9%）對於表格包含關鍵結構化數據的企業文件非常重要。

攝入的硬體要求

存儲乘數考慮了原始文件和提取的結構化輸出（JSON、文本、元數據）。

第二階段：清洗和去識別化

清洗將原始提取的文本轉換為標準化的一致內容。去識別化偵測和編輯個人身份信息（PII）和受保護的健康信息（PHI）。在氣隙環境中，所有用於實體偵測的 NLP 模型必須在本地運行。

架構決策

PII/PHI 偵測方法：您有兩種選擇——基於規則的模式匹配，或基於 NLP 模型的命名實體識別（NER）。實際上，您需要兩者。

推薦的氣隙方法：疊加兩種方法。對結構化識別符（SSN、電話號碼、電子郵件、醫療記錄號、日期）使用正規表達式模式。對非結構化識別符（自由文本中的姓名、組織、位置）使用本地加載的 NER 模型（spaCy 或量化 transformer）。

對於 HIPAA 監管的數據，去識別化必須滿足安全港方法（刪除 18 個特定識別符類別）或專家確定方法。正規表達式捕獲大多數結構化識別符。NER 捕獲非結構化識別符。在自動去識別化後的人工審查階段是 HIPAA 合規的標準做法。

數據標準化：氣隙環境通常處理數十年積累的文件——不同的編碼方案、不一致的日期格式、舊字符集。標準化將這些轉換為一致的 UTF-8 編碼、標準化的日期格式和一致的空白處理。這在計算上很廉價，沒有連接要求。

清洗的硬體要求

第三階段：標注和注釋

標注是領域專家為處理的數據分配類別、實體、邊界框或品質分數的地方。在氣隙環境中，標注界面必須完全從本地主機提供——沒有外部 CDN 資產、沒有雲端同步項目、沒有從遠程服務器加載腳本的基於瀏覽器的工具。

架構決策

注釋工具選擇：大多數現代注釋工具是假設網路連接的 Web 應用程序。即使是自託管版本也常常從 CDN 加載 JavaScript 庫、分析腳本或來自外部服務器的字體文件。

Label Studio 注意事項：Label Studio 可以自託管，但自託管版本必須稽核外部調用。以前的版本從外部 CDN 加載 Google Fonts、包含分析腳本，並進行更新檢查調用。在氣隙環境中，這些調用靜默失敗或導致錯誤。您需要通過檢查網路流量來驗證——您的自託管 Label Studio 實例不發出任何外部 HTTP 請求。

氣隙推薦：對於 NLP 注釋，Prodigy 是最可靠的氣隙選項——它是一個沒有 Web 依賴的 Python 庫，完全從本地主機提供其 UI。取捨是它需要 Python 環境，這限制了非技術領域專家的可訪問性。

對於非技術領域專家（醫生、律師、工程師）需要直接訪問標注界面的組織，不需要終端、Python 或瀏覽器連接的原生桌面注釋工具是最佳選擇。這是 Ertas Data Suite 採用的方法——一個原生桌面應用程序，整個注釋界面在本地運行，零網路依賴。

標注的硬體要求

標注是計算密集程度最低的階段。它主要是一種有軟體輔助的人類活動。

第四階段：合成數據擴增

合成數據擴增使用 LLM 從現有標注數據生成額外的訓練示例。在氣隙環境中，這需要在本地運行 LLM 推理——沒有雲端 API，沒有外部模型端點。

架構決策

本地 LLM 運行時選擇：

氣隙推薦：Ollama 用於通用擴增。它支持廣泛的 GGUF 模型，具有直接的離線安裝（複製二進制文件 + 模型文件），並在本地主機上提供 OpenAI 兼容的 API。對於 Microsoft 生態系統首選的環境，Foundry Local 是替代選項——取捨是模型選擇較窄。

擴增的模型選擇：

對於大多數企業擴增任務——生成改述、創建分類變體、擴展實體示例——8B-14B 量化模型是實際的最佳點。品質足夠，硬體要求可管理，模型文件（4-10 GB）可通過可移動媒體傳輸。

擴增的硬體要求

強烈推薦 GPU 用於擴增。7B 模型的僅 CPU 推理可行，但生成數據速度慢 5-10 倍，當您需要生成數千個合成訓練示例時，這很重要。

第五階段：匯出

匯出將處理、標注和擴增的數據轉換為下游訓練和部署系統可使用的格式。在氣隙環境中，匯出目標是本地存儲——永遠不是雲端對象存儲。

架構決策

匯出格式選擇取決於下游用例：

稽核追蹤匯出：在受監管環境中，訓練數據本身是不夠的。您還必須匯出：

• 數據沿襲（哪個源文件產生了哪個訓練示例）
• 轉換日誌（每次清洗、編輯和修改及時間戳）
• 操作員日誌（誰標注了什麼、何時以及他們改變了什麼）
• 品質指標（注釋者間一致性、置信度分數）

對於歐盟 AI 法案第 11 條與附件 IV 合規，此稽核文件必須附帶訓練數據並可供檢查。對於 HIPAA，去識別化稽核追蹤必須證明 PHI 在用於訓練之前被適當刪除。

匯出的硬體要求

傳輸機制：將軟體和模型引入氣隙環境

氣隙 AI 最被忽視的方面是初始設置。您無法從互聯網安裝軟體。您無法下載模型權重。一切都必須通過批准的物理渠道傳輸。

物理媒體傳輸

機密和氣隙環境的標準方法：

1. 在有連接的機器上準備：將所有軟體安裝程序、依賴、模型權重和配置文件下載到乾淨、格式化的驅動器上
2. 安全掃描：通過您組織的惡意軟體掃描和安全審查過程運行媒體
3. 保管鏈：記錄準備媒體的人、內容和傳輸時間
4. 在氣隙機器上安裝：從批准的媒體複製文件到目標系統
5. 驗證完整性：將已安裝文件的校驗和（SHA-256）與準備的清單進行比較

對於模型權重：7B GGUF 模型大約為 4-6 GB。70B 模型為 35-45 GB。USB 驅動器或便攜式 SSD 可以輕鬆處理這些大小。較大的數據集（數百 GB 的源文件）可能需要便攜式 NAS 設備或多個驅動器。

單向數據二極管

對於具有更複雜氣隙網路的組織，硬體數據二極管提供單向傳輸機制。數據流入氣隙網路，但無法流出。這用於可移動媒體也受限制的國防和關鍵基礎設施環境。

數據二極管允許自動、定期地將模型更新和軟體補丁傳輸到氣隙環境，而不會創建任何出站數據路徑。

必須預先暫存的內容

在隔離機器之前，傳輸以下所有內容：

完整氣隙 AI 管線的總預暫存：大約 10-70 GB，具體取決於您包含多少個 LLM 模型。

合規映射：誰實際上需要氣隙？

並非每項法規都要求氣隙操作。了解哪些法規需要哪種部署模型可以防止過度工程設計。

實際指導：機密/國防數據和關鍵基礎設施 OT 網路需要氣隙。大多數受監管行業（醫療保健、金融、法律）的本地部署就足夠了。對於需要司法管轄控制但不需要物理隔離的數據，主權雲（國內提供商）是可接受的。

綜合起來：參考架構

受監管企業的完整氣隙 AI 管線：

硬體：

• 工作站或伺服器：16+ 核，64 GB RAM，NVIDIA RTX 4090（24 GB VRAM）或 A6000（48 GB VRAM）
• 本地存儲：活動項目的 2+ TB NVMe SSD，加上存檔的 NAS
• 可移動媒體站：用於初始設置和定期模型/軟體更新

軟體堆疊：

• 操作系統：Linux（Ubuntu/RHEL）或 Windows，在隔離前完全更新
• 攝入：Docling + PyMuPDF + Tesseract/PaddleOCR
• 清洗：spaCy NER + 正規表達式模式 + 自定義規則
• 標注：原生桌面注釋工具（無 Docker、無瀏覽器依賴）
• 擴增：Ollama + Llama 3.1 8B（GGUF Q4）
• 匯出：JSONL + 稽核追蹤生成器
• 推理運行時：Ollama、llama.cpp 或 Foundry Local

估計硬體成本：工作站構建（RTX 4090 級）8,000-15,000 美元，或伺服器構建（A6000 級）20,000-40,000 美元。與等效計算的雲端 GPU 成本（每小時 2-4 美元）相比——本地硬體在 6-18 個月的連續使用中可以收回成本。

此架構處理從原始文件到 AI 就緒訓練數據的完整管線，完全在氣隙邊界內，每個階段都有完整的稽核追蹤。

相關閱讀

• 氣隙機器學習：如何在沒有網路訪問的情況下構建 AI 數據管線 — 氣隙與本地部署與自託管部署的概念概覽，以及每個管線階段的工具分析。
• 企業主權 AI：2026 年的含義和重要性 — AI 主權的三個層次及其對受監管企業的重要性。
• 主權 AI 與雲端 AI：各國和地區的數據居留要求 — AI 系統數據居留要求的各國參考指南。