專為臨床文字打造的客製 AI 模型,在您自己的伺服器上執行

    透過 Ertas Studio,醫療團隊可以用自己的臨床範例訓練客製模型,並匯出到醫院自有的伺服器上執行。模型在正式環境中讀取的病患資料,始終留在您的網路之內。

    The Challenges You Face

    病患資料讓雲端 AI 的門檻更高

    HIPAA、各州隱私法規與人體試驗委員會,對受保護健康資訊的去向都有嚴格規定。把每份臨床紀錄都送到第三方 AI API,代表每個新用途都要簽供應商合約、做風險評估,並承擔持續的資料曝險,許多專案還沒開始就卡住了。

    臨床用語讓通用模型頻頻出錯

    臨床紀錄裡滿是縮寫、簡寫和院內慣例,通用模型經常誤讀。一個從沒看過貴院醫師如何書寫的模型,產出的擷取結果和摘要都得有人逐行核對。

    按 token 計費的 API 成本隨病患量上升

    一家醫院每天產生數以千計的紀錄、報告與信函。每一份都按 token 付費呼叫前沿模型,原本看好的試行計畫就會變成一筆隨病患量不斷增加的預算。

    領域知識掌握在臨床人員手中

    真正了解臨床流程、醫學術語和病患脈絡的是臨床人員,而他們多半不寫程式。讓臨床人員直接審閱並修正訓練範例,醫療 AI 才能進步得最快。

    How Ertas Solves This

    Ertas Studio 會用您想完成之任務的範例來訓練客製模型,例如擷取用藥清單、為就診編碼、草擬出院摘要。臨床人員在 Studio 的引導式資料集建構工具 Data Craft 中審閱、修正並核准這些範例,完全不需要寫程式。您可以選擇 Llama、Qwen、Gemma 或 Phi 等開放模型,在視覺化畫布上完成訓練,並同時執行多個訓練任務來比較。

    訓練在 Ertas 的雲端 GPU 上進行,因此訓練集需要上傳到 Ertas。請使用貴機構已完成去識別化或已做最小化處理的紀錄來建立訓練集。資料集會被保存以便重複訓練,您也可以隨時刪除。

    訓練完成後,模型就是您的。您可以匯出為 GGUF 格式,搭配 llama.cpp、Ollama 或 LM Studio 使用,或匯出完整的 safetensors 供 vLLM 使用,然後在醫院自己的伺服器上執行,執行時不依賴 Ertas。模型在正式環境中讀取的每一份紀錄都留在您的網路之內。符合 HIPAA 與院內規範仍是貴機構自己的工作;在內部執行推論,可以讓正式環境的病患資料不必進入其他供應商的系統。

    對於規模更大的計畫,Ertas 也提供企業客製模型服務:免費的使用案例評估、為期三到四週的概念驗證、正式建置,以及之後的營運與再訓練。訓練完成的模型歸貴機構所有。

    Key Features for 醫療保健組織

    Studio

    由臨床人員審閱的訓練範例

    在 Data Craft 中,臨床人員可以用 USER 與 ASSISTANT 輪次新增和編輯範例對話、進行版本管理,並逐筆標記為已核准。訓練集反映的是臨床判斷,參與的人不必學習任何開發工具。

    Studio

    在視覺化畫布上訓練開放模型

    選擇一個開放基礎模型、接上資料集,就能在視覺化畫布上啟動以 LoRA 進行的微調,訓練在 Ertas 的雲端 GPU 上完成。可以同時執行多種設定,比較結果後再做選擇。

    Hub

    匯出並在內部執行

    訓練好的模型都會列在 Hub 中。每個模型都能下載為 GGUF(搭配 llama.cpp、Ollama 或 LM Studio)或完整的 safetensors(搭配 vLLM),部署在醫院自有的硬體上,推論全程留在您的網路內。

    Cloud

    自適應模型端點

    針對某一項高流量任務,自適應模型端點提供您單一的 API。一個以您自己的請求和團隊回饋訓練出的客製模型,在通過您的評估後會承接越來越多的請求,困難的請求仍交給您原本使用的前沿模型。它可以由 Ertas 代管,也可以部署在您自己的雲端或地端。

    Why It Works

    • 在 QMSum 會議摘要基準上,一個以 Ertas 訓練的 1.2B 模型取得 35.41 的 ROUGE-1 分數,五個託管前沿模型中最好的一個為 32.43。為單一任務訓練的小模型,在這項任務上可以勝過大得多的通用模型。
    • 匯出的模型可以在您掌控的硬體上以 llama.cpp、Ollama、LM Studio 或 vLLM 執行,正式環境的推論不需要連線到 Ertas。
    • 臨床人員可以直接在 Data Craft 中參與。這是一個對話式編輯器,用來建立、版本管理並核准訓練範例,不需要寫程式。

    Example Workflow

    某醫院的醫療資訊團隊希望建立一個模型,從非結構化的臨床紀錄中擷取藥品名稱、劑量和用藥頻次。一位資料工程師取出 2,000 份已依醫院自身流程完成去識別化的紀錄,以範例對話的形式匯入 Data Craft:紀錄作為 USER 輪次,結構化的用藥清單作為 ASSISTANT 輪次。

    幾位臨床人員在 Data Craft 中審閱這些範例、修正擷取結果並逐筆核准。接著,團隊在 Ertas Studio 中同時執行兩個訓練任務,一個以 Qwen 2.5 7B 為基礎,一個以 Llama 3.1 8B 為基礎,再用臨床人員另外標註的一組保留紀錄比較兩者。

    表現較好的模型匯出為 GGUF 檔,以 llama.cpp 部署在醫院自己的 GPU 伺服器上。新的紀錄在醫院網路內完成處理。臨床人員每週抽查部分輸出,把修正後的案例加入 Data Craft,作為下一輪訓練的資料。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.