Haystack + Ertas

將 Ertas 訓練的模型整合到 Haystack 的模組化 NLP 管線中，用於企業規模的文件檢索、問答和語義搜尋。

Overview

Haystack 由 deepset 開發，是一個開源 NLP 框架，專為建構生產就緒的搜尋和問答系統而設計。與通用 LLM 框架不同，Haystack 以管線為核心：每個元件——檢索器、閱讀器、生成器、排序器——都是可以獨立替換、串聯和設定的模組化節點。這種架構使 Haystack 特別適合企業部署，在這些場景中可靠性、可觀測性和元件級測試比快速原型開發更重要。

Haystack 2.x 引入了完全重新設計的管線 API，對 LLM 驅動的生成提供一流支援，使其成為需要超越簡單提示和檢索模式的 RAG 應用程式的強大選擇。其內建評估框架讓團隊可以開箱即用地測量檢索召回率、答案品質和忠實度指標——這些功能在將微調模型部署到生產環境並追蹤模型更新是否實際改善下游效能時至關重要。

How Ertas Integrates

Ertas 訓練的模型可以作為生成器或閱讀器元件直接插入 Haystack 管線。在 Ertas Studio 中微調後，您將模型部署到 OpenAI 相容的端點，並設定 Haystack 的 OpenAIGenerator 或 OllamaGenerator 指向您的本地或雲端推理伺服器。由於 Haystack 將 LLM 視為另一個管線元件，您可以透過運行並行管線並使用 Haystack 的評估節點比較輸出，對您的 Ertas 訓練模型和通用模型進行 A/B 測試。

Ertas 微調與 Haystack 評估框架的結合建立了強大的最佳化迴路。您可以精確測量微調模型在領域特定評估集上改善檢索增強答案的程度、識別失敗模式、從這些失敗中生成針對性訓練範例，並在 Ertas Studio 中重新訓練。這種資料飛輪方法——生產失敗直接回饋到訓練改善中——是建構隨時間越來越好而非隨著邊緣案例累積而退化的 AI 系統最可靠的方法。

Getting Started

1
在 Ertas Studio 中微調領域模型
使用 Ertas Studio 在您的領域語料上訓練模型。專注於您的 Haystack 管線將執行的特定任務——問答、摘要或擷取。
2
部署到支援的推理後端
匯出 GGUF 模型並透過 Ollama、vLLM 或任何 OpenAI 相容端點提供服務。Haystack 原生支援多種生成器後端。
3
建構您的 Haystack 管線
使用您選擇的檢索器、排序器和生成器元件組建 Haystack 管線。將生成器指向您的 Ertas 訓練模型端點。
4
使用 Haystack 的內建指標進行評估
對標記的評估集運行管線，測量答案準確度、忠實度和檢索召回率，以量化微調的影響。
5
迭代和重新訓練
分析管線失敗、生成新的訓練範例，並在 Ertas Studio 中重新訓練。無需更改 Haystack 管線設定即可重新部署改善後的模型。

python

from haystack import Pipeline
from haystack.components.generators import OpenAIGenerator
from haystack.components.builders import PromptBuilder

# Configure generator with your Ertas-trained model
generator = OpenAIGenerator(
    api_base_url="http://localhost:11434/v1",
    model="ertas-support-7b",
    api_key="not-needed",
)

prompt = PromptBuilder(
    template="""Answer the question based on the context.
Context: {{ context }}
Question: {{ question }}
Answer:"""
)

# Build the pipeline
pipe = Pipeline()
pipe.add_component("prompt", prompt)
pipe.add_component("generator", generator)
pipe.connect("prompt", "generator")

result = pipe.run({
    "prompt": {
        "context": "Our return policy allows returns within 30 days...",
        "question": "How long do I have to return an item?",
    }
})
print(result["generator"]["replies"][0])

在 Haystack 管線中使用 Ertas 訓練的模型作為生成器，進行領域特定的問答。