Back to blog
    n8n 本地 AI:用你自己的微调模型替换 OpenAI
    n8nopenaifine-tuninglocal-aitutorialsegment:builder

    n8n 本地 AI:用你自己的微调模型替换 OpenAI

    分步指南,教你如何将 n8n 工作流中的 OpenAI API 调用替换为本地运行的微调模型。将成本降至零而不牺牲质量。

    EErtas Team·

    你的 n8n 工作流运行良好。你构建了分类邮件、从发票提取数据、评分潜客和起草跟进消息的自动化——所有这些都由可靠提供高质量结果的 OpenAI 节点驱动。

    但每一个 AI 节点都是经常性成本。每次执行消耗 Token。每个 Token 出现在月账单上。随着自动化规模扩大——更多工作流、更多客户、更多流量——账单同步增长。

    如果你能运行完全相同质量的 AI,在本地,每次执行免费呢?

    这就是本教程分步引导你完成的内容。完成后,你将拥有一个在 Ollama 上运行的微调模型,连接到你的 n8n 工作流,产生与 OpenAI 相同质量的输出——零每次执行成本。

    不需要 ML 背景。不需要 Python 脚本。只是从"按 Token 付费给 OpenAI「到」本地运行自己的模型"的具体步骤。

    我们要构建什么

    最终状态如下:

    ┌──────────────────────────────────────────┐
    │              n8n 工作流                    │
    │                                           │
    │  触发器 → 处理 → [AI 节点] → 操作          │
    │                        │                  │
    │                        ▼                  │
    │              HTTP 请求节点                  │
    │         POST localhost:11434/api/chat     │
    └──────────────────┬───────────────────────┘
                       │
                       ▼
    ┌──────────────────────────────────────────┐
    │            Ollama 服务器                   │
    │                                           │
    │  ┌─────────────────────────────────────┐ │
    │  │  你的微调模型(GGUF)                  │ │
    │  │  在你的工作流数据上训练                 │ │
    │  │  在 CPU 上运行——不需要 GPU            │ │
    │  └─────────────────────────────────────┘ │
    └──────────────────────────────────────────┘
    

    关键洞察:你的微调模型是在现有 OpenAI 工作流的确切输入/输出对上训练的。 它不需要知道 GPT-4 知道的一切。它只需要复制你的工作流依赖的特定行为。

    前提条件

    开始之前,确保你有:

    • 运行中的 n8n 实例 — 自托管或 n8n 云。本教程假设你有使用 OpenAI 节点的现有工作流。
    • 已安装 Ollama — 在你的 n8n 服务器、附近的 VPS 或本地机器上。
    • Ertas 账户 — 用于无代码微调模型。在 ertas.io 注册($14.50/月)。
    • 工作流执行历史 — 要转换的工作流至少 200 次成功执行。越多越好。

    第 1 步:导出你的 OpenAI 训练数据

    你现有的工作流每次执行时都在生成训练数据。每次执行包含发送给 OpenAI 的输入和返回的输出。这正是我们微调模型需要的。

    选择你想首先转换的工作流。理想候选者是:

    • 高流量 — 每天运行 50 次以上(最大成本节省)
    • 窄任务 — 分类、提取或模板化生成(最容易微调)
    • 一致的质量 — OpenAI 输出可靠地好(干净的训练数据)

    你需要多少数据?

    任务类型最少最佳收益递减
    二元分类(是/否)100 对250 对500+ 对
    多类分类200 对500 对1,000+ 对
    数据提取(结构化)200 对500 对1,000+ 对
    短文本生成300 对800 对2,000+ 对
    摘要300 对1,000 对3,000+ 对

    第 2 步:使用 Ertas 微调模型

    1. 登录 Ertas Studio
    2. 创建新项目
    3. 上传你的 JSONL 文件
    4. 选择基础模型(推荐 Qwen 2.5 7B
    5. 开始训练(通常 15-50 分钟)
    6. 评估结果
    7. 导出为 GGUF(选择 Q4_K_M 量化)

    第 3 步:导出为 GGUF 并在 Ollama 中加载

    将 GGUF 文件传输到服务器:

    scp email-classifier-q4km.gguf user@your-server:/home/user/models/

    创建 Modelfile:

    FROM /home/user/models/email-classifier-q4km.gguf
    
    PARAMETER temperature 0.1
    PARAMETER num_ctx 4096
    PARAMETER stop "<|im_end|>"
    

    在 Ollama 中创建模型:

    ollama create email-classifier -f Modelfile

    第 4 步:在 n8n 中创建 Ollama 节点

    选项 A:用 HTTP 请求节点替换(推荐)

    1. 禁用 OpenAI 节点
    2. 添加 HTTP 请求节点
    3. 配置:方法 POST,URL http://localhost:11434/api/chat
    4. 添加代码节点提取响应

    选项 B:使用 OpenAI 兼容端点

    Ollama 在 /v1/chat/completions 提供 OpenAI 兼容 API。更改基础 URL 到 http://localhost:11434/v1 即可。

    选项 C:原生 Ollama 节点

    n8n 1.20+ 版本包含原生 Ollama 集成。

    第 5 步:测试和对比

    运行 A/B 测试:

    • 保留 OpenAI 和 Ollama 节点
    • 添加 Switch 节点将 50% 执行发送到每个
    • 对比输出

    微调模型在分类上通常更一致,因为它专门在你的类别上训练,不展示通用模型的创造性变化。

    性能基准

    在 $30/月 VPS(4 vCPU, 16GB RAM)上使用微调 Qwen 2.5 7B 模型的真实性能数据:

    指标OpenAI API (GPT-4)本地微调 (7B)
    响应时间(分类)1.5-3.0 秒0.2-0.5 秒
    响应时间(提取)2.0-5.0 秒0.4-1.0 秒
    响应时间(生成)3.0-8.0 秒0.8-2.5 秒
    吞吐量(请求/秒)受速率层级限制10-20 请求/秒
    每次执行成本$0.02-0.10$0.00
    月成本(1K 执行/天)$600-3,000$44.50 固定
    数据离开基础设施

    上线

    验证质量并解决问题后:

    1. 移除 A/B 分割——将 100% 流量路由到本地模型
    2. 保持 OpenAI 节点禁用(不删除)第一周作为兜底
    3. 监控 7 天
    4. 7 天后:如果一切正常,删除 OpenAI 节点
    5. 设置重训计划——每 4-8 周

    你的 n8n 工作流现在以零 API 成本运行。每次执行都是免费的。扩展到 10 倍流量,你的账单保持完全不变:Ertas $14.50 加 VPS $30。

    即 $44.50/月的无限 AI 自动化。没有 Token。没有速率限制。没有意外发票。


    Ship AI that runs on your users' devices.

    Ertas early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.

    延伸阅读

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.

    Keep reading