為您的企業打造私有 LLM。
企業私有 LLM 是在貴機構決定的地方運行、受您自己的存取控制約束、並以您自己的工作訓練的語言模型。Ertas 以您的資料針對一項明確的任務訓練這樣的模型，並由 Ertas 代管運行，或部署在您自己的雲端或地端。您的資料保持私密。
什麼是私有 LLM？
私有 LLM 是為單一機構部署的語言模型，它的請求、紀錄和訓練資料都在該機構的控制之下。
這個說法涵蓋兩項不同的選擇：模型在哪裡運行，以及它用什麼訓練。您自行架設的開放模型是私有的，但仍然是通用模型。以您工作範例訓練的模型，還會學會您的格式、術語和決策方式。
私有 LLM 與公共 AI API 有什麼差別？
公共 AI API 在服務商的伺服器上、依服務商的條款處理每個請求。這些條款已有改進：截至 2026 年 10 月，OpenAI 的企業隱私頁面表示，預設情況下不會使用企業資料訓練其模型，並可能將 API 的輸入和輸出保留最多 30 天，用於提供服務和識別濫用。
私有 LLM 讓部署位置、資料保留和存取權限都遵循您自己的政策，並且以您自己的工作進行訓練。
- 位置
- 由您選擇模型在哪裡運行、紀錄保存在哪裡。
- 保留
- 由您的政策決定請求和輸出保存多久。
- 訓練
- 以您的團隊審核過的範例，針對您選定的任務訓練。
- 成本
- 可按 token、按席位或使用專用 GPU 計費。在大用量下，每項任務的 token 更少，每個 token 的成本也低於大型前沿模型。
私有 LLM 可以在哪裡運行？
有三種選擇，取決於您的資料可以去往哪裡。無論哪一種，模型都透過同一個 API 提供服務。
當資料必須留在某個國家時，可在您自己位於該國區域的雲端帳戶中運行模型，或在您自己的伺服器上運行。澳洲的客製化 AI 模型提供了一個範例。
- Ertas 代管
- 我們負責代管、監控和更新模型。您的資料保持私密。
- 您的雲端
- 您自己的 AWS、Azure 或 Google Cloud 帳戶，沿用您現有的管控措施。
- 地端部署
- 您自己的伺服器，位於您的網路之內。
應該向私有 LLM 服務商提出哪些問題？
下面五個問題涵蓋了資安審查會問到的大部分內容。我們擬議的信任框架以任務專用評估、安全底線和模型紀錄來回答其中關於衡量和變更的問題。
- 在哪裡運行
- 詢問每個環境所在的區域和服務商，包括紀錄和備份。
- 誰能看到
- 詢問哪些員工和次級處理者可以存取提示、輸出和紀錄。
- 如何衡量
- 要求提供以您的範例建構的測試集，以及每個版本的評分。
- 歸誰所有
- 詢問您可以帶走什麼，以及條件是什麼。
- 如何變更
- 詢問新版本如何獲得核准，以及新版本未達標時由什麼繼續提供服務。
常見問題。
私有 LLM 比公共 API 更貴嗎？
取決於用量。對於大量重複的任務，成本從兩方面下降：每個 token 的價格低於大型前沿模型；每項任務所用的 token 也更少，因為每個提示中重複的指令和脈絡已經訓練進模型。對於偶爾使用的開放式工作，公共 API 通常更便宜。執行費用可按 token 計費，適合波動或成長中的流量；可按席位計費，即每月一筆費用、token 無上限、並設有最大並行上限，適合穩定的流量；最大規模的流量可使用專用 GPU。
私有 LLM 能使用我們的文件嗎？
能。訓練教會模型您的任務和格式，檢索則為它提供經常變化的文件。許多專案兩者並用。
我們擁有 Ertas 訓練的私有 LLM 嗎？
它以您的工作訓練、由您的團隊塑造，預設在 Ertas 上運行。在滿足最低合作承諾的前提下，可取得模型的所有權並完成交付。
建置私有 LLM 需要多久？
先進行免費稽核和資料準備，接著是為期三到四週的概念驗證。您的團隊核准結果後，即進入正式模型階段。