當服務提供商贏得企業資料準備合約時,第一個技術決策不是使用哪個模型或如何構建標記方案。而是工具如何部署在客戶的基礎設施上。
這個決策有連鎖反應:關於時間線(幾天 vs 幾週的設置)、 誰可以操作工具(只有 ML 工程師 vs 領域專家也可以)、安全態勢(攻擊面積),以及客戶的 IT 團隊是否會批准部署。
三種部署模型主導著本地端資料準備領域。每種都做出不同的權衡。
原生桌面應用程式
原生桌面應用程式像任何其他程序一樣安裝在目標機器上。在 macOS 上,是 .dmg 或 .app。在 Windows 上,是 .msi 或 .exe 安裝程序。在 Linux 上,是 .deb、.rpm 或 AppImage。
安裝複雜性
最低限度。下載安裝程序,運行它,啟動應用程式。整個過程需要 2-10 分鐘。除操作系統本身(以及如果需要 GPU 推理的 GPU 驅動)之外,不需要其他先決軟件。
運維開銷
接近零。應用程式管理自己的資料目錄、配置和進程生命週期。更新是應用程式級別的:下載新版本並安裝在現有版本上。沒有守護程序需要監控,沒有容器倉庫需要維護,沒有集群需要保持健康。
安全面積
小。應用程式作為單個用戶空間進程運行。它不監聽網絡端口(除非本地 LLM 推理使用 localhost)。沒有 Web 服務器,沒有身份驗證層,沒有向網絡公開的 API。攻擊面是應用程式二進制文件本身及其資料目錄。
氣隙兼容性
原生。安裝後,應用程式不需要網絡連接。本地 LLM 推理的模型權重可以通過 USB 或批准的媒體傳輸。應用程式沒有「回家報告」要求。
領域專家可訪問性
高。合規官員、法律審閱者或醫療編碼員可以在沒有 DevOps 支持的情況下安裝和使用原生桌面應用程式。這很重要,因為資料準備質量取決於領域專業知識,而不是 ML 專業知識。
硬體訪問
直接。應用程式通過操作系統的原生 API 訪問 CPU、GPU 和 NPU。沒有虛擬化層,沒有直通配置。GPU 記憶體完全可供應用程式使用。
更新管理
標準應用程式更新。在氣隙環境中,更新通過物理媒體或內部軟件分發系統交付。
Docker 容器
基於 Docker 的工具以一個或多個容器映像交付,通常使用 Docker Compose 協調。例如,Label Studio 以 Docker 映像交付,帶有單獨的 PostgreSQL 容器用於元資料。
安裝複雜性
中等。先決條件包括 Docker Engine(或 Docker Desktop)、Docker Compose,以及用於 GPU 工作負載的 NVIDIA Container Toolkit 和兼容驅動。在企業 Linux 系統上,這通常意味著協調 IT 團隊進行軟件包安裝和 Docker 守護程序配置。
總設置時間:對於直接部署 1-4 小時,當企業代理設 置、倉庫鏡像或驅動問題使事情複雜化時更長。
運維開銷
中等。Docker 容器需要監控:它們在運行嗎?它們消耗了太多記憶體嗎?卷掛載是否正確配置?Docker Compose 重啟處理基本恢復,但持久狀態管理(卷、綁定掛載)需要注意。
Docker 守護程序更新有時會破壞容器兼容性。NVIDIA Container Toolkit 更新有時會破壞 GPU 訪問。這些不是日常問題,但它們在最糟糕的時刻出現。
安全面積
比原生桌面大。Docker 引入了幾個元件:Docker 守護程序(以 root 運行)、容器網絡、公開端口和卷掛載。每個都是潛在的攻擊向量。容器逃逸漏洞雖然罕見,但對於安全意識強的組織來說是真實的關注點。
許多企業安全團隊要求在批准部署之前審閱 Docker 映像、其基礎層和任何網絡暴露。
氣隙兼容性
可能但困難。氣隙 Docker 部署需要:
- 在連接互聯網的機器上預先拉取所有容器映像
- 將映像保存為 tarball(
docker save) - 通過批准的媒體將 tarball 傳輸到目標機器
- 加載映像(
docker load) - 確保所有運行時依賴(模型權重、配置)都已包含
由於缺少映像層、缺少運行時依賴(例如在容器啟動時下載的模型文件),或 Docker Engine 版本之間的版本不匹配,這個過程經常失敗。

