Back to blog

    在沒有 ML 團隊的情況下為您的 SaaS 添加 AI 功能

    您的客戶期望 AI 功能,但您沒有 ML 工程師。以下是 SaaS 產品團隊如何使用現有產品資料微調特定領域模型——無需 Python、無需 ML 專業知識、無 API 成本峭壁。

    A pale astronomical impression in graphite and copper, with a soft amber penumbra on warm paper.An asymmetric engraved lunar crescent with cool cyan rim-light and a faint amber counter-impression.

    您的競爭對手剛剛發佈了「AI 驅動的」搜索。您的董事會在詢問您的 AI 路線圖。您的客戶在每次反饋調查中都要求 AI 功能。

    您有產品經理、前端開發者、後端工程師,也許還有一名資料分析師。您沒有 ML 團隊。僱用一個——每個 ML 工程師 $200-350K——在您驗證 AI 功能確實能推動指標之前是沒有意義的。

    以下是大多數 SaaS 團隊走的路:

    1. 接入 OpenAI 的 API
    2. 低流量時效果很好
    3. 隨著用戶增長,成本從 $12/月攀升到 $3,000/月
    4. 急於優化,撞上提示工程天花板
    5. 要麼吃掉利潤率,要麼移除功能

    有一條更好的路:在您的產品自己的資料上微調一個小模型,以固定成本部署它,並發佈真正可以擴展的 AI 功能。

    任何 SaaS 都可以發佈的五個 AI 功能

    這些是 SaaS 產品最常發佈的 AI 功能——每一個都是微調而不是 API 調用的有力候選者。

    1. 智能搜索

    功能: 用戶用自然語言搜索(「顯示本月結束的超過 $50K 的交易」)並獲得相關結果。

    為什麼微調勝出: 您的搜索模型需要理解您的產品資料模型、您的字段名稱、您用戶的詞彙。通用模型不知道「deals」在您的 CRM 中意味著機會,或者「closing this month」意味著 close_date 在當月。

    訓練資料: 200-500 個自然語言查詢 → 結構化搜索過濾器/查詢的示例。來源自您的搜索日誌和支持工單。

    2. 自動分類

    功能: 自動分類傳入的項目——支持工單、反饋提交、功能請求、內容條目。

    為什麼微調勝出: 您的類別是您的產品特有的。「賬單問題」、「功能請求——報告」、「錯誤——移動應用」不是通用類別。微調模型學習您的分類法並一致地應用它。

    訓練資料: 歷史分類項目。大多數 SaaS 產品在其數據庫中已經有數千個已分類的記錄。

    性能基準: 微調模型在領域特定分類上達到 94% 的準確率,而提示的 GPT-4 只有 71%。

    3. 內容生成

    功能: 生成特定於產品的內容——電子郵件草稿、報告摘要、模板建議、資料描述。

    為什麼微調勝出: 生成的內容應匹配您的產品聲音,使用您的術語,並正確引用您的功能。通用模型生成通用內容。微調模型生成聽起來像使用您的產品的人寫的內容。

    訓練資料: 您的用戶或團隊創建的高質量內容示例。營銷文案、幫助文章、示例模板。

    4. 支持自動回覆

    功能: 自動起草或發送對常見支持查詢的回覆。

    為什麼微調勝出: 您的支持回覆引用了您的產品特有的特定功能、工作流程和故障排除步驟。微調模型對相同支持查詢達到 87% 的自動解決率,而 RAG 聊天機器人只有 34%。

    訓練資料: 帶有客服代理回覆的歷史支持工單。過濾高評分或驗證正確的回覆。

    5. 資料提取/解析

    功能: 從非結構化輸入中提取結構化資料——發票、表單、電子郵件、文件。

    為什麼微調勝出: 您的提取目標是特定的:您的字段、您的格式、您的邊緣案例。針對一致 JSON 輸出的微調消除了困擾提示工程提取的格式錯誤。

    訓練資料: 輸入 → 提取的結構化資料的示例。即使 100-200 個高質量示例也能產生可靠的提取模型。

    實施工作流程

    第一步:選擇一個功能

    不要嘗試同時發佈五個 AI 功能。選擇具有以下特點的一個:

    • 最高用戶需求
    • 最清晰的訓練資料來源
    • 最可測量的成功指標
    • 準確率不完美時風險最低(內部工具優先於面向客戶的工具)

    第二步:構建您的訓練資料集

    大多數 SaaS 產品已經有訓練資料——只是尚未格式化:

    功能資料來源格式
    智能搜索搜索日誌 + 點擊結果查詢 → 過濾器/結果對
    自動分類歷史分類記錄項目文本 → 類別
    內容生成產品中的現有內容提示 → 內容對
    支持自動回覆支持工單歷史問題 → 答案對
    資料提取已處理文件 + 提取資料文件 → 結構化輸出

    將 200-500 個示例導出為 JSONL。對於大多數 SaaS 用例,您不需要超過這個數量。

    第三步:在 Ertas 上微調

    將您的 JSONL 資料集上傳到 Ertas。選擇基礎模型——Llama 3.1 8B 或 Qwen 2.5 7B 對大多數 SaaS 任務效果很好。可視化配置訓練(無需 Python、無需 YAML、無需 CLI)。訓練在雲端 GPU 上幾分鐘內完成。

    第四步:評估

    通過微調模型運行您的評估資料集。將準確率與以下進行比較:

    • 您當前的方法(如果有)
    • 提示的通用模型(GPT-4、Claude)
    • 您的生產質量閾值

    第五步:部署在您的 API 後面

    將模型導出為 GGUF。通過 Ollama 在您的基礎設施上部署。作為您的應用程序調用的內部 API 端點公開。

    部署模式:

    Code example
    您的 SaaS 應用 → 您的 API → Ollama(本地)→ 微調模型 → 響應
    

    Ollama 公開與 OpenAI 相容的 API,所以如果您的應用程序當前調用 OpenAI,遷移通常只需更改一行 URL。

    第六步:監控和迭代

    在生產中追蹤準確率。收集失敗案例。定期用新示例重新訓練。隨著您向它提供生產資料,模型會隨時間改進。

    重要的成本比較

    以下是典型 SaaS AI 功能在不同規模下的成本:

    用戶每日 AI 查詢OpenAI GPT-4o 月度OpenAI GPT-4o mini 月度自托管微調 8B
    100500$45$2.70約 $0
    1,0005,000$450$27約 $0
    10,00050,000$4,500$270約 $0
    100,000500,000$45,000$2,700約 $0

    「約 $0」意味著模型在您擁有或以固定月費租用的硬體上運行。無論您處理 500 個查詢還是 500,000 個,成本不會改變。固定成本架構是唯一可持續擴展的架構。

    在 10,000 個用戶時,GPT-4o($4,500/月)和自托管($0 邊際成本)之間的差異是 $54,000/年。在 100,000 個用戶時,是 $540,000/年。這就是健康利潤率和您被迫停用的功能之間的差異。

    何時使用雲端 API

    微調的自托管模型不是每個 AI 功能的正確選擇:

    使用雲端 API 當:

    • 您在原型設計階段,需要在投資微調之前驗證需求
    • 功能需要前沿推理(複雜分析、新穎創意工作)
    • 使用量非常低(每天低於 1,000 個查詢——API 成本可忽略不計)
    • 您在快速推進,想在幾天而不是幾週內發佈

    切換到微調模型當:

    • API 成本超過 $200/月且在增長
    • 您需要提示工程無法實現的特定領域準確率
    • 隱私或合規要求資料留在您的基礎設施上
    • 您想要可預測的、與規模無關的成本

    遷移路徑很清晰:從 API 開始進行驗證,當成本變得重要時對微調模型進行 A/B 測試,當微調模型匹配或超越 API 質量時進行切換。

    入門

    1. 審計您的產品以尋找 AI 功能機會(搜索、分類、生成、支持、提取)
    2. 選擇一個有清晰訓練資料和可測量成功標準的功能
    3. 將 200-500 個訓練示例導出為 JSONL
    4. 在 Ertas 上微調——無需代碼,無需 ML 專業知識
    5. 通過 Ollama 在您的 API 後面部署
    6. 向用戶發佈並測量影響

    您不需要 ML 團隊來發佈 AI 功能。您需要的是您的產品自己的資料和一個為您處理 ML 複雜性的微調平台。