Letta + Ertas

使用 Letta 构建具有持久化记忆的智能体——这是前身为 MemGPT 的框架，具有跨会话存续的有状态记忆架构，并提供官方 Vercel AI SDK 提供商以支持微调模型。

Overview

Letta 是 MemGPT 研究框架的生产级继任者，专注于构建具有持久化、有状态记忆的智能体，记忆在跨会话间得以延续。大多数智能体框架将记忆视为单次运行内的临时上下文，而 Letta 将记忆作为一等公民原语：智能体拥有结构化的记忆层级（工作记忆、归档记忆、回忆记忆），由智能体本身管理并随时间更新。这使得长时运行的智能体能够真正记住数周或数月之前的交互，能够推理超出任何单一上下文窗口的信息，并发展出持久的人格和知识库。

该框架建立在 MemGPT 研究开创的架构之上——以 LLM 作为“CPU”的操作系统式记忆分页。智能体自主决定将什么保留在工作记忆中、将什么刷新到归档存储、以及在需要时检索什么。这种模式意味着即使使用上下文窗口仅为 32K 的模型，Letta 智能体也可以通过将其上下文视为记忆层级，有效地处理任意长的历史。Letta 附带官方 Vercel AI SDK 提供商，可与 TypeScript 代码库轻松搭配使用。

How Ertas Integrates

Ertas 训练的模型通过标准的模型配置接口为 Letta 智能体提供动力。Letta 支持任何兼容 OpenAI 的端点，因此在 Ertas Studio 中微调并通过 Ollama、vLLM 或 Ertas Cloud 部署的模型只需几行配置即可接入 Letta 智能体。这种组合在领域特定知识需要随时间累积的用例中尤为强大——Letta 的持久化记忆捕捉用户特定的事实、偏好和历史，而 Ertas 训练的模型则在权重层面提供领域特定的推理。

对于需要演进的智能体应用，Letta + Ertas 创造了一个持续改进循环。Letta 的归档记忆存储所有过去的交互；你可以定期从 Letta 的记忆存储中提取高质量的对话轨迹，并将其作为额外的训练数据用于 Ertas Studio，进一步精炼模型。微调后的模型在生产中最常见的模式上表现更好，而 Letta 的持久化记忆继续处理无法泛化的个体上下文。这种“烘焙到模型权重中的领域知识”（通过 Ertas）与“每个用户的持久化状态”（通过 Letta 的记忆）之间的分离，是长时运行的个人 AI 应用程序的清晰架构。

Getting Started

1
在 Ertas Studio 中微调你的领域模型
在你的领域语料上训练模型。微调后的模型捕获稳定的领域知识，所有 Letta 智能体都将共享此知识。
2
部署到兼容 OpenAI 的端点
导出为 GGUF 格式并通过 Ollama、vLLM 或 Ertas Cloud 提供服务。Letta 可调用任何标准的聊天补全端点。
3
安装 Letta 并配置模型
安装 letta-client（Python）或 @letta-ai/letta（TypeScript）。将你的模型提供商配置为指向 Ertas 推理端点。
4
创建带有记忆的有状态智能体
定义一个具有持久化记忆的 Letta 智能体。当对话超出上下文窗口时，Letta 会自动管理记忆层级。
5
运行、演进并精炼模型
在生产环境中运行智能体。定期从 Letta 的归档记忆中提取高信号对话，反馈到 Ertas Studio 进行持续的模型改进。

python

from letta_client import Letta, LlmConfig

# Point Letta at your Ertas-trained model served via vLLM
client = Letta(base_url="http://localhost:8283")

llm_config = LlmConfig(
    model="ertas-personal-assistant-14b",
    model_endpoint_type="openai",
    model_endpoint="http://localhost:8000/v1",
    context_window=32000,
)

# Create a stateful agent with persistent memory
agent = client.agents.create(
    name="alex-personal-assistant",
    llm_config=llm_config,
    memory={
        "human": "User is Alex, an enterprise architect at FinTech Corp.",
        "persona": "I'm a personal AI assistant that learns Alex's preferences over time.",
    },
)

# First conversation
client.agents.messages.create(
    agent_id=agent.id,
    messages=[{"role": "user", "content": "I prefer concise responses, under 100 words."}],
)

# Weeks later — agent still remembers
response = client.agents.messages.create(
    agent_id=agent.id,
    messages=[{"role": "user", "content": "Summarize the AWS Q3 financials."}],
)
# Response is concise, matching Alex's stated preference from weeks ago

创建一个由 Ertas 训练模型支持的 Letta 智能体。智能体的持久化记忆跨会话、跨周和跨月延续，不受上下文窗口限制。