LangChain + Ertas

將 Ertas 訓練的模型整合到 LangChain 管線中，用於檢索增強生成、代理和複雜的多步驟推理工作流程。

Overview

LangChain 是使用最廣泛的大型語言模型應用程式建構框架。它為提示管理、鏈式協調、工具使用、記憶和檢索增強生成 (RAG) 提供可組合的抽象。開發者使用 LangChain 建構複雜的 AI 管線，其中 LLM 對檢索的文件進行推理、呼叫外部 API 並在多輪互動中維護對話上下文。

對於使用 Ertas 微調模型的團隊，LangChain 是天然的應用層。您不必透過昂貴的 API 呼叫依賴通用基礎模型，而是可以將您的 Ertas 訓練模型——透過 Ollama、llama.cpp 或 vLLM 在本地提供服務——直接插入 LangChain 鏈和代理。這使您在管線的每個步驟都擁有領域特定的智慧：更好的檢索重排序、更準確的工具選擇，以及最終輸出中更少的幻覺，因為模型已經了解您的領域詞彙和推理模式。

How Ertas Integrates

在 Ertas Studio 中微調模型後，您可以將其部署到任何 OpenAI 相容的推理端點——Ollama、vLLM、LM Studio 或 Ertas Cloud——並使用標準的 ChatOpenAI 或 ChatOllama 類別將其連接到 LangChain。LangChain 的提供者無關介面意味著從雲端 API 切換到 Ertas 訓練的本地模型只需要更改基礎 URL 和模型名稱；您的鏈、提示和檢索邏輯保持不變。

Ertas Hub 提供針對常見微調使用場景（如文件問答、結構化擷取和多步驟分類）最佳化的精選提示範本和鏈設定。這些範本設計為與 Ertas Studio 在微調模型中嵌入的聊天格式和系統提示配合使用，確保 LangChain 中的提示結構與模型訓練時的格式匹配。這種訓練時和推理時提示之間的對齊對於從微調模型中獲得最大品質至關重要，也是團隊自行組裝管線時常見的微妙錯誤來源。

Getting Started

1
在 Ertas Studio 中微調您的模型
使用您的 JSONL 資料集在 Ertas Studio 中訓練領域特定模型。從 Hub 選擇基礎模型並應用 LoRA 適配器，針對您的特定使用場景進行高效訓練。
2
部署到 OpenAI 相容端點
以 GGUF 格式匯出模型並透過 Ollama、vLLM 或 Ertas Cloud 提供服務。任何暴露 /v1/chat/completions API 的端點都可以與 LangChain 配合使用。
3
安裝 LangChain 並設定 LLM 提供者
安裝 langchain 和相關的提供者套件（langchain-openai 或 langchain-ollama）。將客戶端指向您的本地或雲端推理端點。
4
建構您的鏈或代理
使用 LangChain 的 LCEL（LangChain 表達式語言）組合檢索鏈、工具呼叫代理或利用您微調模型的多步驟推理管線。
5
透過 Ertas 回饋迴路進行迭代
透過 LangChain 回調收集推理日誌和使用者回饋，然後將其作為額外訓練資料回饋到 Ertas Studio，以持續改善模型品質。

python

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

# Point to your Ertas-trained model served via Ollama
llm = ChatOpenAI(
    base_url="http://localhost:11434/v1",
    model="ertas-legal-7b",
    api_key="not-needed",
    temperature=0.1,
)

# Build a simple RAG chain
prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a legal assistant. Use the context to answer questions accurately."),
    ("human", "Context: {context}\n\nQuestion: {question}"),
])

chain = prompt | llm | StrOutputParser()

response = chain.invoke({
    "context": "The contract stipulates a 30-day termination notice period...",
    "question": "What is the required notice period for termination?",
})
print(response)

將透過 Ollama 在本地提供服務的 Ertas 訓練模型連接到 LangChain RAG 鏈，只需更改基礎 URL。