LlamaIndex + Ertas

使用 Ertas 训练的模型与 LlamaIndex 构建生产级 RAG 应用，深入理解您的领域特定文档和数据源。

Overview

LlamaIndex（前身为 GPT Index）是一个专为将大语言模型连接到外部数据源而构建的数据框架。它提供了强大的抽象层，涵盖数据摄入、索引构建、检索和查询引擎，远超简单的向量搜索。LlamaIndex 支持超过 160 个数据连接器——从 PDF 和数据库到 Slack、Notion 和 Google Drive——使构建基于企业知识库的 RAG 应用变得简单直接。

LlamaIndex 的独特之处在于其对结构化数据检索和查询规划的专注。它不是将原始文本块直接塞入提示词，而是可以将复杂查询分解为子查询，将其路由到不同的索引，并从多个数据源合成连贯的答案。当与已经理解您领域术语的 Ertas 训练模型配合使用时，这种结构化检索方法可以显著减少幻觉并提高领域特定问题的回答精度。

How Ertas Integrates

Ertas 训练的模型在 RAG 流水线的两个关键节点与 LlamaIndex 集成：查询引擎和响应合成器。在 Ertas Studio 中使用您的领域数据微调模型后，将其部署到任何 OpenAI 兼容的端点，并配置 LlamaIndex 使用该模型作为主 LLM。由于模型已经理解您的行业术语、缩写和推理模式，检索增强响应的准确性显著优于通用模型。

Ertas Hub 提供了预构建的 LlamaIndex 配置模板，涵盖法律文档问答、医学文献审查和财务报告分析等常见用例。这些模板包括优化的分块策略、嵌入模型推荐以及与 Ertas 微调期间使用的对话格式对齐的提示模板。从训练数据格式到检索提示结构的端到端对齐，正是微调 RAG 流水线大幅超越通用方案的关键。

Getting Started

1
在 Ertas Studio 中微调领域模型
使用 Ertas Studio 在您的领域特定问答对或文档语料库上训练模型。微调后的模型将作为 LlamaIndex 流水线的推理核心。
2
将模型部署到推理端点
以 GGUF 格式导出模型，并通过 Ollama、vLLM 或 Ertas Cloud 提供服务。LlamaIndex 支持任何 OpenAI 兼容 API 作为后端。
3
摄入和索引您的文档
使用 LlamaIndex 数据连接器加载您的文档，然后使用您选择的嵌入模型和向量存储构建向量索引或关键词索引。
4
使用 Ertas 模型配置查询引擎
将 LlamaIndex 的查询引擎指向您的 Ertas 训练模型端点。使用 Ertas Hub 的提示模板确保训练-推理提示对齐。
5
部署并监控 RAG 应用
通过 REST API 或聊天界面提供 LlamaIndex 应用服务。使用 Ertas Cloud 监控来跟踪推理质量并识别模型改进方向。

python

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.llms.openai_like import OpenAILike

# Connect to your Ertas-trained model via Ollama
llm = OpenAILike(
    api_base="http://localhost:11434/v1",
    model="ertas-finance-7b",
    api_key="not-needed",
    is_chat_model=True,
    temperature=0.1,
)

# Load and index your documents
documents = SimpleDirectoryReader("./financial_reports").load_data()
index = VectorStoreIndex.from_documents(documents)

# Query with your fine-tuned model
query_engine = index.as_query_engine(llm=llm)
response = query_engine.query(
    "What was the year-over-year revenue growth in Q3?"
)
print(response)

使用 Ertas 训练的模型和 LlamaIndex 构建基于财务文档的 RAG 流水线。