Back to blog
    政府本地端 AI:滿足國家安全資料要求
    governmentnational-securityon-premisesovereign-aiair-gappedsegment:enterprise

    政府本地端 AI:滿足國家安全資料要求

    這是一份針對正在評估本地端 AI 基礎設施的政府和國防採購商的垂直指南——涵蓋 FedRAMP、ITAR、NIST 800-171、機密網路相容性、氣隔操作,以及大多數供應商忽略的資料準備挑戰。

    EErtas Team·

    政府機構和國防組織在使大多數商業 AI 產品無法使用的限制條件下運作。不是不方便——是真正的無法使用。當您的資料被分類為 IL5 或以上時,將其發送到雲端 API 不是政策偏好——這是聯邦犯罪。

    這造成了根本性的張力。商業企業在數週內採用的 AI 能力——文件分析、物流優化、預測性維護——在政府背景下需要數月或數年的基礎設施規劃。大多數 AI 供應商不明白為什麼。

    本指南描繪了政府 AI 部署實際需要滿足的要求、架構和合規框架。它是為正在評估本地端 AI 基礎設施的計劃經理、國防承包商技術長和聯邦機構 IT 負責人撰寫的。

    為何商業雲端 AI 不適用於政府

    主要雲端供應商的說法很直接:使用我們的 AI 服務,我們將處理 FedRAMP 授權,您的資料保留在政府區域。對於影響級別 2 的未分類工作負載,這可以起作用。對於任何更高級別的內容,說法在四個具體方面失效。

    資料主權不只是合規核選方塊

    當商業 AI 供應商處理政府資料時,資料受供應商的法律義務約束——不僅僅是美國法律,還可能包括供應商業務所在的任何司法管轄區的法律。在擁有強制性資料披露法律的國家有業務的供應商造成了任何業務夥伴協議或合同附加條款都無法完全消除的法律風險。

    對於機密資料,這不是理論性的。第 14028 號行政命令(改善國家網路安全)明確要求機構了解和控制其軟體供應鏈。一個在數百個來源的資料上訓練的 AI 模型,運行在共享基礎設施上,更新周期由供應商控制,不符合該標準。

    模型行為無法被稽核或控制

    當您使用雲端 AI API 時,您正在調用供應商控制的模型。他們可以更新它、重新訓練它、調整其安全過濾器,或者完全棄用它——通常不提前通知。對於商業企業,這意味著偶爾的輸出品質波動。對於根據 AI 輔助情報分析做出決策的政府機構,未宣布的行為變化是操作風險。

    您無法稽核您不託管的模型。您無法版本固定供應商不允許您下載的模型。您無法對昨晚更改的模型運行回歸測試。

    更新在沒有政府監督的情況下發生

    商業 AI 供應商按自己的時間表推送模型更新。OpenAI 以最少六個月的通知棄用了模型。對於花了 18 個月獲得運行授權(ATO)的國防系統,模型棄用通知意味著重新開始認證過程——或在不受支援的模型上運行。

    外國情報收集風險

    雲端 AI 服務在資料中心處理資料。資料中心有員工。員工可能成為攻擊目標。對於機密工作負載,共享雲端環境的攻擊面——即使是政府指定的——從根本上比具有持有通行證人員的氣隔本地端安裝更大。

    合規框架映射

    政府 AI 部署必須滿足多個重疊的合規框架。以下是它們如何映射到部署架構決策:

    框架範圍主要 AI 含義雲端相容?
    FedRAMP High具有高影響資料的聯邦系統所有 AI 基礎設施必須在 FedRAMP High 邊界內是,使用授權 CSP
    NIST 800-171CUI(受控非機密資訊)包含 CUI 的 AI 訓練資料必須按照 110 個控制措施保護有條件
    ITAR國防文章和技術資料處理 ITAR 資料的 AI 不能在外國可訪問的基礎設施上進行受限
    NIST AI RMFAI 系統風險管理需要 AI 系統行為、測試和監控的文件架構中立
    IL4DoD 系統中的 CUI專用雲端基礎設施,僅限美國支援僅 DoD 雲端
    IL5更高敏感性 CUI 和任務資料物理分離的基礎設施,國家安全審查的人員雲端選項非常有限
    IL6機密(最高 SECRET)氣隔,SCIF 級別保護無商業雲端

    實際含義:任何在 IL5 或以上處理資料的 AI 系統都需要本地端基礎設施。對於 IL6 及以上(SIPRNet、JWICS),氣隔操作不是可選的——這是唯一合法的部署模型。

    NIST AI 風險管理框架(AI RMF)

    AI RMF 不要求特定的部署模型,但其圍繞治理、映射、測量和管理的要求在本地端基礎設施中實質上更容易滿足:

    • 治理(Govern):建立 AI 行為的責任要求控制模型生命周期。當供應商控制更新時,這很難做到。
    • 映射(Map):理解 AI 系統的背景和潛在影響需要對訓練資料和模型架構的可見性。專有雲端模型兩者都不提供。
    • 測量(Measure):對 AI 輸出的持續評估需要針對生產模型運行基準測試套件。這需要訪問模型,而不僅僅是其 API。
    • 管理(Manage):應對識別的風險——回滾模型版本、調整推理參數、修補漏洞——需要基礎設施訪問。

    政府 AI 架構

    政府級 AI 部署有特定的架構要求,與商業本地端設置不同。

    核心基礎設施組件

    氣隔計算集群:物理隔離網路上的 GPU 節點(通常為 NVIDIA A100 或 H100)。無網路連接。無 DNS 解析。無外部伺服器的 NTP 同步(使用本地時間源或 GPS 接收器)。

    本地模型倉庫:存儲在機密網路上的批准模型的版本化倉庫。模型在安全審查後通過跨域解決方案或手動媒體傳輸導入。每個模型版本都經過雜湊驗證並記錄日誌。

    本地端推理伺服器:在本地 GPU 上運行的 vLLM、TGI 或 Triton Inference Server。推理伺服器在運行時沒有任何外部依賴的情況下處理所有 AI 請求——沒有授權檢查、沒有遙測、沒有模型下載。

    資料準備管道:大多數政府 AI 架構中最不成熟的組件,通常是瓶頸。下面詳述。

    稽核和日誌基礎設施:每個推理請求、模型加載、資料訪問和配置更改都記錄到防篡改的稽核系統中。NIST 800-53 AU 控制措施適用。

    網路架構

    對於機密工作負載:

    [機密資料來源] → [資料準備管道] → [訓練/微調] → [模型倉庫]
          ↓                                                  ↓
    [分析師工作站] ← [推理伺服器] ← [批准的模型版本]
          ↓
    [稽核日誌聚合器] → [SIEM / 合規報告]
    

    每個組件都在機密網路邊界內運行。對於機密資料,沒有「混合」選項。唯一的外部接觸點是用於導入已清理基礎模型和導出解密結果的跨域解決方案。

    政府的模型選擇

    政府部署出於實際原因絕大多數偏向開放權重模型:您無法稽核您無法檢查的東西。

    模型類別參數量典型使用案例分類適用性
    Llama 3.x (70B)70B複雜分析,報告生成通過適當傳輸適用所有級別
    Mistral/Mixtral70 億至 470 億通用,多語言所有級別
    Phi-3/Phi-438 億至 140 億邊緣部署,資源受限適合戰術/前線部署
    微調領域模型70 億至 140 億特定任務(NER、分類)所有級別;生產環境首選

    較小的模型(70 億至 140 億)在生產部署中更受偏好,因為它們需要更少的計算資源、響應更快,並且可以在特定領域的政府資料上進行微調,以在目標任務上超越更大的通用模型。

    OpenAI 國防部合同背景

    2025 年初,OpenAI 與美國國防部和其他政府實體簽署了合同。這被廣泛報道為驗證雲端 AI 可以服務於政府需求。現實更為微妙。

    即使這些合同到位,國防和情報界也在並行建立獨立的 AI 能力。為什麼?

    供應商依賴風險是國家安全問題。 當單一 AI 供應商的業務決策——領導層變化、政策轉向、定價調整、外國合作夥伴關係——可能影響國防行動時,這就是戰略漏洞。這種擔憂不是假設性的:OpenAI 的組織結構已多次改變,其安全領導層經歷了重大人員流失,其商業優先事項每季度都在演變。

    盟國政府正在建立主權能力。 英國的 AI 安全研究所、法國的主權 AI 投資、澳大利亞的國防 AI 計劃——這些都不依賴於單一的美國供應商。他們正在建立國內 AI 基礎設施,正是因為依賴另一個國家的商業實體來提供國防能力是不可接受的風險,無論當前關係如何。

    許多機構和工作負載永遠不會具有雲端資格。 情報界最敏感的工作負載在根據法律和物理上無法連接到商業基礎設施的網路上運行。這些工作負載仍然需要 AI 能力,而且需要在本地端部署。

    國防部合同是真實且有意義的。它們也不是全部故事。跨政府的趨勢——美國和盟國——是向沒有單一供應商控制的多元化、自主託管的 AI 基礎設施發展。

    政府 AI 使用案例模式

    情報文件分析

    情報機構每年處理數百萬份文件——電報、報告、截獲、開源情報。AI 可以加速分類、實體提取、關係映射和摘要。但文件是機密的,分析方法是機密的,產生的情報產品是機密的。

    要求:氣隔推理、用於政府特定實體的微調 NER 模型、無資料離開 SCIF、每個已處理文件和每個 AI 生成標注的完整稽核軌跡。

    物流優化

    美國國防部管理著世界上最大的物流網路。用於供應鏈中斷、維護調度和資源分配的預測模型每年可節省數十億美元。底層資料——部隊準備狀態、設備狀態、供應鏈依賴關係——是操作上敏感的。

    要求:對歷史物流資料進行本地端訓練、用於規劃工具的實時推理、與現有物流系統的整合(GCSS-Army、DLA 系統)、規劃操作不依賴雲端。

    國防系統的預測性維護

    軍事設備產生大量感測器資料。在故障發生前預測組件故障的 AI 模型可以減少停機時間並防止關鍵任務故障。軍事系統的感測器資料、故障模式和維護模式在 ITAR 下受出口管制。

    要求:對 ITAR 保護的資料進行本地端模型訓練、用於前線部署單位的邊緣推理(加固型硬體上的小型模型)、通過安全傳輸的定期模型更新。

    衛星圖像分析

    地理空間情報(GEOINT)涉及分析衛星和航空圖像以進行變化偵測、目標識別和模式分析。圖像本身通常是機密的,分析技術揭示了收集能力。

    要求:本地端計算機視覺模型、用於圖像處理的 GPU 加速推理、用於軍事特定目標的微調目標偵測模型、氣隔操作。

    資料準備挑戰

    這是大多數 AI 基礎設施討論完全跳過的問題:政府組織積累了數十年的非結構化文件,幾乎沒有 AI 就緒的。

    考慮一個典型的國防機構存儲的內容:

    • 情報報告:各種格式(PDF、Word、純文字、掃描圖像)的數百萬份文字文件,跨越數十年,具有不一致的格式和分類標記
    • 技術手冊:數千份設備維護手冊、操作程序和工程規格——許多是從紙質原件掃描的
    • 行動後報告:現場報告、經驗教訓、事件分析——帶有嵌入資料的非結構化敘述文字
    • 合同和採購文件:採購記錄、供應商評估、成本分析——被困在非結構化格式中的結構化資料

    將此存檔轉換為 AI 就緒資料集需要:

    1. 文件攝入,處理數十種文件格式、掃描文件的 OCR 以及從 PDF 中提取表格
    2. 資料清理,規範化格式、解決 OCR 錯誤並處理分類標記
    3. 標注和標記,由了解內容的領域專家(分析師、工程師、操作員)完成——而不是不了解的 ML 工程師
    4. 品質驗證,確保標記資料在用於訓練之前達到準確度閾值
    5. 完整的稽核軌跡,記錄每次轉換、每個人的決策和每條資料血緣路徑

    整個管道必須在機密網路上運行。沒有雲端工具。沒有 SaaS 平台。沒有資料離開大樓。

    大多數政府 AI 計劃以艱難的方式發現這一點。他們為 GPU 和推理伺服器編制預算,然後花費 12 到 18 個月建立自定義資料準備管道,才能訓練第一個模型。行業分析師引用的 ML 項目時間中有 60 到 80% 花費在資料準備上,如果有的話,對於合規要求在每個步驟增加額外開銷的政府背景來說,這實際上是低估了。

    政府資料準備需要什麼

    要求重要性商業工具差距
    氣隔操作機密資料不能接觸網路大多數資料準備工具回撥授權或更新
    多格式攝入政府存檔包含 PDF、掃描件、Word、XML、舊版格式工具通常只處理子集
    領域專家訪問分析師和操作員擁有標記所需的知識大多數工具需要 Python/CLI 專業知識
    稽核軌跡NIST 800-53、AI RMF、機構特定要求分散的工具技術棧有血緣差距
    分類處理文件有混合分類級別沒有商業工具能本地處理這個問題
    規模機構有 TB 級歷史文件手動方法無法規模化

    運行模型的基礎設施是眾所周知的。NVIDIA 發布參考架構,OEM 出售經過驗證的配置,持有通行證的承包商可以安裝和維護它們。為這些模型準備資料的基礎設施——特別是在氣隔的機密環境中——是大多數計劃停滯的地方。

    建立與購買政府 AI 基礎設施

    政府機構在 AI 技術棧的每一層都面臨建立與購買的決策:

    計算基礎設施:購買。通過戴爾、HPE、聯想和其他具有現有政府合同的 OEM 的 NVIDIA 驗證設計提供經過測試的配置。從頭開始建立自定義 GPU 集群會增加 6 到 12 個月並引入未驗證的硬體組合。

    推理服務:主要是開源。vLLM、TGI 和 Triton 是生產級的、文件齊全的且免費的。政府特定的強化和 ATO 文件是自定義工作。

    模型:從開放權重基礎模型(Llama、Mistral、Phi)開始,然後在領域資料上進行微調。從頭建立基礎模型是國家實驗室的工作,而不是機構項目。

    資料準備:差距最大的地方。機構要麼用自定義 Python 腳本拼湊 5 到 7 個開源工具(沒有統一的稽核軌跡,幾個月的工程工作),要麼尋找可以完全在本地端運行而無需網路依賴的整合平台。

    政府 AI 計劃經理的建議

    1. 從資料開始,而不是計算。 稽核您擁有的非結構化資料、其格式,以及將其轉換為訓練就緒資料集需要什麼。這個評估應該在訂購 GPU 之前進行。

    2. 要求氣隔操作測試。 對於 AI 技術棧中的任何工具,斷開其與網路的連接並驗證它仍然有效。許多「本地端」工具靜默地依賴外部服務進行授權、模型下載或遙測。

    3. 計劃領域專家參與。 您的分析師、操作員和工程師需要參與資料標記和驗證。如果工具需要 Python 專業知識才能使用,您的領域專家就被排除在外,您的 ML 工程師就成為了瓶頸。

    4. 將 60 到 70% 的 AI 計劃預算用於資料準備。 常見的錯誤是將 80% 用於計算,20% 用於其他所有事情。在前 18 個月中顛倒這個比例。

    5. 為多種輸出格式而建立。 同樣準備好的資料集應該服務於微調(JSONL)、檢索增強生成(分塊文字)和分析(結構化導出)。不要為每個建立單獨的管道。

    6. 從第一天起建立模型治理。 對每個模型進行版本控制、記錄每次推理、記錄每次訓練運行的文件。ATO 過程將需要此文件,而事後補記比從一開始就構建它更難。

    7. 計劃斷開連接的更新。 隨著資料的演變,模型需要重新訓練。建立一個在您的安全邊界內工作的定期模型更新過程——包括如何導入新的基礎模型以及如何在部署前驗證微調模型。

    政府 AI 不是技術問題。技術已經存在。這是基礎設施和流程問題——將正確的工具放入正確的環境中,具有正確的合規態度,由正確的人操作。首先解決資料準備瓶頸的機構將是真正大規模部署 AI 的機構。

    Turn unstructured data into AI-ready datasets — without it leaving the building.

    On-premise data preparation with full audit trail. No data egress. No fragmented toolchains. EU AI Act Article 30 compliance built in.

    Keep reading