語音代理

    建構用於語音代理和對話式 AI 應用的自訂語言模型

    The Challenge

    語音代理——處理電話通話、得來速點餐、預約排程和客戶服務對話的 AI 系統——正迅速取代傳統的 IVR 系統。語言模型是每個語音代理的大腦,負責理解來電者意圖、生成自然回覆、做出通話路由決策,以及維持連貫的多輪對話。然而大多數語音代理建構者依賴的通用語言模型不理解其所服務業務的特定領域、詞彙或對話模式。

    使用通用模型在語音代理中的後果對來電者來說是立即可見的。代理誤解行業特定術語,因無法推斷上下文而提出多餘的問題,生成對自然語音時序來說太長的回覆,並且無法遵循業務要求的特定通話腳本和升級程序。延遲是另一個關鍵因素——語音對話需要亞秒級回應時間,而向大型雲端模型發送請求會引入可感知的延遲,使對話感覺不自然。這些問題加劇了來電者的沮喪,推高了放棄率,削弱了語音 AI 的商業理據。

    The Solution

    Ertas 讓語音代理開發者用領域對話資料微調小巧快速的語言模型。在 Ertas Studio 中,團隊用已去識別化的成功通話逐字稿、經核准的通話腳本,以及反映來電者預期模式的對話流程進行訓練,也可以在 Studio 的引導式資料集建構工具 Data Craft 中撰寫或修改範例對話。微調後的模型掌握業務術語,遵循通話處理程序,給出簡短自然、適合說出口的回覆。

    Hub 可將模型匯出為 GGUF 或完整的 safetensors,因此它能運行在您自己的 GPU 上,緊鄰您的電話系統。在本機運行的小模型省去連到大型雲端模型的網路往返,有助於維持自然的對話節奏,每次對話的運算成本通常也低於呼叫大型託管模型的 API。以 Ollama、llama.cpp 或 vLLM 部署後,模型可以作為 Retell、Vapi、Bland 等語音平台或自建電話整合背後的語言模型。通話錄音和逐字稿受同意與隱私規範約束,因此上傳訓練前請先將逐字稿去識別化;模型在您自己的伺服器上運行後,即時通話內容都留在您這裡。

    Key Features

    Studio

    對話式微調

    使用 Studio 在通話逐字稿、經核准的腳本和多輪對話流程上訓練模型。以簡短的回覆和自然的輪流發言來訓練,讓回覆更適合口語表達。

    Studio

    緊湊語音最佳化模型

    從 Studio 模型目錄中的小型開源模型起步,例如 LFM2.5 1.2B、Qwen 2.5 3B、Llama 3.2 3B 或 Gemma 3 4B,它們在一般硬體上也跑得很快。較小的微調模型能讓回應時間短到足以支撐即時對話。

    Hub

    低延遲自行託管推論

    從 Hub 把訓練完成的模型匯出為 GGUF 供 llama.cpp 或 Ollama 使用,或匯出為 safetensors 供 vLLM 使用,運行在您自己的 GPU 或邊緣伺服器上。部署規模由您依同時通話量調整,運行時不依賴 Ertas。

    Hub

    通話資料留在您手中

    自行託管的模型所處理的即時通話逐字稿都留在您的基礎設施上。訓練資料會上傳到 Ertas 的雲端 GPU,因此上傳前請從逐字稿中移除付款資訊、健康資訊和來電者身分資訊。錄音同意、PCI DSS 與健康隱私方面的義務仍需由您自行落實。

    Example Workflow

    一家牙科診所管理公司為 500 間牙醫診所打造處理預約排程的語音代理。他們收集了 100,000 份成功排程通話的逐字稿,涵蓋預約類型、保險核對問題、時段協調和取消處理,移除病患姓名和身分資訊後上傳到 Ertas Studio。在 Studio 中,他們在牙科排程領域微調 Qwen 2.5 7B,讓它理解牙科術語(洗牙、牙周維護、牙冠預備)、保險方案名稱,以及不同治療項目的排程邏輯,同時並行訓練一個較小的 Llama 3.2 3B,比較速度和品質。他們用一組保留下來的真實通話測試這兩個模型,檢查每個模型能否約對預約類型、回覆是否短到適合說出口。選定的模型從 Hub 匯出,以 vLLM 部署在自家資料中心的 GPU 伺服器上,接在語音平台後方。團隊對照先前使用的通用模型,衡量回應延遲、端到端完成率和通話時長,並把模型處理不好的通話轉給工作人員,同時蒐集範例供下一輪訓練使用。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.