LlamaIndex + Ertas

使用 Ertas 訓練的模型搭配 LlamaIndex 建構生產級 RAG 應用程式，了解您的領域特定文件和資料來源。

Overview

LlamaIndex（前身為 GPT Index）是一個專門為將大型語言模型連接到外部資料來源而建構的資料框架。它為資料攝取、索引、檢索和查詢引擎提供強大的抽象，遠超簡單的向量搜尋。LlamaIndex 支援超過 160 個資料連接器——從 PDF 和資料庫到 Slack、Notion 和 Google Drive——使得在企業知識庫上建構 RAG 應用程式變得簡單。

LlamaIndex 的與眾不同之處在於其對結構化資料檢索和查詢規劃的專注。LlamaIndex 不是將原始片段丟入提示，而是可以將複雜查詢分解為子查詢，將其路由到不同的索引，並從多個資料來源中綜合連貫的答案。當搭配已了解您領域術語的 Ertas 訓練模型時，這種結構化檢索方法可以顯著減少幻覺，並提高領域特定問題的答案精確度。

How Ertas Integrates

Ertas 訓練的模型在 RAG 管線的兩個關鍵點與 LlamaIndex 整合：查詢引擎和回應合成器。在 Ertas Studio 中微調領域資料模型後，您將其部署到任何 OpenAI 相容端點，並設定 LlamaIndex 使用它作為主要 LLM。由於模型已了解您的行業術語、縮寫和推理模式，檢索增強的回應比通用模型的回應顯著更準確。

Ertas Hub 為常見使用場景提供預建的 LlamaIndex 設定範本，如法律文件問答、醫學文獻審閱和財務報告分析。這些範本包括最佳化的分塊策略、嵌入模型建議和與 Ertas 微調期間使用的聊天格式對齊的提示範本。這種端對端的對齊——從訓練資料格式到檢索提示結構——正是微調 RAG 管線大幅超越通用設定的原因。

Getting Started

1
在 Ertas Studio 中微調領域模型
使用 Ertas Studio 在您的領域特定問答對或文件語料上訓練模型。微調模型將作為 LlamaIndex 管線的推理骨幹。
2
將模型部署到推理端點
以 GGUF 格式匯出模型並透過 Ollama、vLLM 或 Ertas Cloud 提供服務。LlamaIndex 支援任何 OpenAI 相容 API 作為後端。
3
攝取和索引您的文件
使用 LlamaIndex 資料連接器載入您的文件，然後使用您偏好的嵌入模型和向量儲存建構向量或關鍵字索引。
4
使用 Ertas 模型設定查詢引擎
將 LlamaIndex 的查詢引擎指向您的 Ertas 訓練模型端點。使用 Ertas Hub 的提示範本確保訓練-推理提示對齊。
5
部署和監控 RAG 應用程式
透過 REST API 或聊天介面提供 LlamaIndex 應用程式。使用 Ertas Cloud 監控追蹤推理品質並識別模型改善的領域。

python

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.llms.openai_like import OpenAILike

# Connect to your Ertas-trained model via Ollama
llm = OpenAILike(
    api_base="http://localhost:11434/v1",
    model="ertas-finance-7b",
    api_key="not-needed",
    is_chat_model=True,
    temperature=0.1,
)

# Load and index your documents
documents = SimpleDirectoryReader("./financial_reports").load_data()
index = VectorStoreIndex.from_documents(documents)

# Query with your fine-tuned model
query_engine = index.as_query_engine(llm=llm)
response = query_engine.query(
    "What was the year-over-year revenue growth in Q3?"
)
print(response)

使用 Ertas 訓練的模型搭配 LlamaIndex 在財務文件上建構 RAG 管線。