LlamaIndex + Ertas

    使用 Ertas 訓練的模型搭配 LlamaIndex 建構生產級 RAG 應用程式,了解您的領域特定文件和資料來源。

    Overview

    LlamaIndex(前身為 GPT Index)是一個專門為將大型語言模型連接到外部資料來源而建構的資料框架。它為資料攝取、索引、檢索和查詢引擎提供強大的抽象,遠超簡單的向量搜尋。LlamaIndex 支援超過 160 個資料連接器——從 PDF 和資料庫到 Slack、Notion 和 Google Drive——使得在企業知識庫上建構 RAG 應用程式變得簡單。

    LlamaIndex 的與眾不同之處在於其對結構化資料檢索和查詢規劃的專注。LlamaIndex 不是將原始片段丟入提示,而是可以將複雜查詢分解為子查詢,將其路由到不同的索引,並從多個資料來源中綜合連貫的答案。當搭配已了解您領域術語的 Ertas 訓練模型時,這種結構化檢索方法可以顯著減少幻覺,並提高領域特定問題的答案精確度。

    How Ertas Integrates

    Ertas 訓練的模型在 RAG 管線的兩個關鍵點與 LlamaIndex 整合:查詢引擎和回應合成器。在 Ertas Studio 中微調領域資料模型後,您將其部署到任何 OpenAI 相容端點,並設定 LlamaIndex 使用它作為主要 LLM。由於模型已了解您的行業術語、縮寫和推理模式,檢索增強的回應比通用模型的回應顯著更準確。

    撰寫 LlamaIndex 提示範本時,應與訓練資料中的聊天格式和系統提示保持一致,無論使用場景是法律文件問答、醫學文獻審閱還是財務報告分析。從訓練資料格式到檢索提示結構的這種對齊,正是微調 RAG 管線能勝過通用設定的原因。

    Getting Started

    1. 1

      在 Ertas Studio 中微調領域模型

      使用 Ertas Studio 在您的領域特定問答對或文件語料上訓練模型。微調模型將作為 LlamaIndex 管線的推理骨幹。

    2. 2

      將模型部署到推理端點

      以 GGUF 格式匯出模型並透過 Ollama 或 vLLM 提供服務。LlamaIndex 支援任何 OpenAI 相容 API 作為後端。

    3. 3

      攝取和索引您的文件

      使用 LlamaIndex 資料連接器載入您的文件,然後使用您偏好的嵌入模型和向量儲存建構向量或關鍵字索引。

    4. 4

      使用 Ertas 模型設定查詢引擎

      將 LlamaIndex 的查詢引擎指向您的 Ertas 訓練模型端點。撰寫與訓練範例一致的提示範本,讓訓練時和推論時的提示保持對齊。

    5. 5

      部署和監控 RAG 應用程式

      透過 REST API 或聊天介面提供 LlamaIndex 應用程式。使用 LlamaIndex 的可觀測性回呼記錄查詢與回應,追蹤推論品質並找出模型的改進方向。

    python
    from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
    from llama_index.llms.openai_like import OpenAILike
    
    # Connect to your Ertas-trained model via Ollama
    llm = OpenAILike(
        api_base="http://localhost:11434/v1",
        model="ertas-finance-7b",
        api_key="not-needed",
        is_chat_model=True,
        temperature=0.1,
    )
    
    # Load and index your documents
    documents = SimpleDirectoryReader("./financial_reports").load_data()
    index = VectorStoreIndex.from_documents(documents)
    
    # Query with your fine-tuned model
    query_engine = index.as_query_engine(llm=llm)
    response = query_engine.query(
        "What was the year-over-year revenue growth in Q3?"
    )
    print(response)
    使用 Ertas 訓練的模型搭配 LlamaIndex 在財務文件上建構 RAG 管線。

    Benefits

    • 領域訓練的模型產生比通用 LLM 更準確的 RAG 回應
    • 支援 160+ 資料連接器,幾乎涵蓋任何企業資料來源
    • 結構化查詢分解處理複雜的多部分問題
    • 所有推論都在本地或您的 VPC 中完成,提示詞與檢索到的文件始終保持私密
    • 與訓練資料一致的提示範本,讓檢索提示與模型保持對齊
    • 持續改善迴路:將 RAG 失敗回饋到 Ertas Studio 進行重新訓練

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.