命名實體辨識

    訓練 NER 模型,辨識並擷取您所在產業使用的實體類型:人名、組織、產品、醫學術語、法律引用,以及您自訂的類型。

    The Challenge

    命名實體辨識是從非結構化文字中進行結構化資訊提取的基礎。通用 NER 模型可以識別人名、地點和組織等常見實體,但在特定領域的實體類型上會崩潰。醫療 NER 系統需要辨識藥物名稱、劑量單位、解剖術語和 ICD 代碼。法律系統需要識別案例引用、法規引用、當事方名稱和管轄權。金融系統需要提取股票代碼、帶幣別的金額、監管機構名稱和特定金融工具。

    建構自訂 NER 模型傳統上需要深厚的 NLP 專業知識、複雜的標註工具,以及部署和維護方面的大量工程投入。團隊在標註指引、標註者間一致性測量和模型架構選擇上花費數月,才開始訓練。結果往往是一個脆弱的管線,在遇到未明確訓練過的實體格式時就會中斷——新的藥物命名慣例、不尋常的引用格式,或與預期模式不匹配的外國組織名稱。

    The Solution

    Ertas 借助開源語言模型廣泛的語言理解能力,把微調集中在您所屬領域特有的實體規律上,讓客製 NER 變得簡單。團隊不必從零訓練傳統 NER 模型,而是在 Ertas Studio 中用文字範例微調生成式模型,每筆範例都附上其中包含的實體,以 JSON 等結構化格式寫出。模型既依據實體本身的形式,也依據周圍的上下文來辨識實體。

    由於基礎模型本身已經很能理解語言,微調後的模型通常能處理沒有明確見過的實體格式,例如出現在常見句型位置上的新藥名,或出現在組織通常扮演的角色中的陌生組織名。在倚賴這一點之前,團隊應先用自己的保留範例加以驗證。Studio 接受 JSONL 格式的訓練資料,包含輸入文字和結構化的實體輸出;Studio 的引導式資料集建構工具 Data Craft 讓標註人員在同一處編輯與核准範例。訓練好的模型從 Hub 匯出為 GGUF 或 safetensors,在您自己的伺服器上執行:批次作業用 Ollama,即時擷取用 vLLM,處理的文字留在您的網路內。訓練在 Ertas 的雲端 GPU 上進行,標註範例會上傳到 Ertas,因此若其中含有個人資料,請在上傳前把真實姓名與身分識別資料替換為逼真的替代值。

    Key Features

    Studio

    客製實體類型訓練

    定義您自己的實體類型,訓練模型從文字中擷取它們。由於模型輸出的是結構化 JSON,您的輸出結構可以包含巢狀實體、重疊片段或實體之間的關係,訓練範例會教會模型這套結構。

    Studio

    在 Data Craft 中審核標註

    在 Studio 的引導式資料集建構工具 Data Craft 中建立並完善標註範例。標註人員可以編輯實體輸出、保存資料集版本,並追蹤哪些範例已核准,在訓練前就解決歧見。

    Hub

    匯出訓練好的模型

    每個訓練好的模型都會列在 Hub 中。可下載 GGUF 格式用於 llama.cpp、Ollama 或 LM Studio,或下載完整的 safetensors 用於 vLLM,再接上您自己的擷取服務。模型屬於您,執行時不依賴任何 Ertas 服務。

    Hub

    敏感文字留在內部

    在您自己的伺服器上執行匯出的模型,含有病患姓名、帳號或個人身分識別資料的文件都在您的網路內處理。訓練在 Ertas 的雲端 GPU 上進行,因此請在上傳前把訓練範例中的真實身分識別資料替換為逼真的替代值。

    Example Workflow

    一家製藥公司需要從臨床試驗報告中擷取藥物名稱、劑量資訊、不良事件和病患人口統計資料,用於藥物安全監視。NLP 團隊依照自己的實體結構(12 種實體類型)標註了 15,000 段報告摘錄,把病患身分識別資料替換為合成的替代值,再把 JSONL 資料集上傳到 Ertas Studio。訓練前,標註人員在 Data Craft 中解決有爭議的範例。團隊微調 Qwen 2.5 7B,讓它讀取報告文字,回傳包含每個實體及其類型與文字位置的結構化 JSON,接著在一組保留的已標註報告上,依實體類型量測 F1,並與先前使用的通用 NER 系統比較。模型從 Hub 匯出,每晚在公司自己的伺服器上以批次方式處理新收到的試驗報告。擷取出的實體載入藥物安全監視資料庫,由安全分析師複核標記出的不良事件,他們的修正又用於下一次訓練。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.