Ertas 助力 SaaS 产品团队

    停止与提示工程的变通方案搏斗。微调深入理解您产品领域的模型,并将它们部署为一等微服务。

    The Challenge

    SaaS 产品团队面临着将 AI 集成到其应用中的巨大压力——投资者期望、客户需求、竞争对手正在发布。但使用通用基础模型构建的现实令人沮丧。提示工程让您完成 80%,然后您花数月追逐最后 20%,使用越来越脆弱的系统提示、少量示例和检索流水线,但在您的领域特定术语上仍然会产生幻觉。

    运营负担迅速累积。API 速率限制在高峰时段节流您的吞吐量,按 token 定价使单位经济不可预测,每个模型提供商的弃用周期都威胁着破坏生产中的功能。产品经理无法围绕他们无法控制的依赖来规划路线图,工程团队浪费一个又一个 sprint 来适应上游变更,而不是构建差异化的产品价值。

    The Solution

    借助 Ertas,产品工程团队可以真正掌握 AI 功能背后的模型。在 Ertas Studio 中,机器学习工程师和后端开发者用产品自身的数据微调小巧的开源模型,参数规模从不到 1B 到 8B 不等,数据包括客服工单、用户生成内容、领域分类体系和内部知识库。你可以上传 JSONL 数据集、从 Hugging Face 导入,或在 Data Craft 中构建数据集,由产品和领域专家审核并批准示例。训练通过可视化画布在 Ertas 的云端 GPU 上进行,多个训练任务可以并行运行,方便团队比较基础模型和参数配置。最终得到的模型本身就懂产品的语言,不需要靠三段系统提示词去勉强模仿。

    训练好的模型归你所有。从 Hub 下载完整的 safetensors 用于 vLLM 等服务端运行时,或下载 GGUF 用于 llama.cpp 和 Ollama,再把它作为一项服务部署在自己的基础设施上,沿用团队现有的健康检查、自动扩缩容和监控面板。模型掌握在自己手里,上游弃用不会再让功能失效,吞吐量取决于你自己的算力,使用成本也比按 token 计费的 API 更可预测。如果希望由 Ertas 来运行,可以了解自适应模型端点:一个 API 对应一项任务,用你自己的请求和团队反馈训练出的定制模型在通过你的评估后接手越来越多的请求,疑难请求仍交给你正在使用的前沿模型。

    Key Features

    Studio

    贴合产品的微调

    Studio 的可视化画布让产品团队用自有数据集(功能文档、应用内用户交互、领域术语表)在 Ertas 的云端 GPU 上进行 LoRA 微调。产品一有变化就可以重新训练,也可以同时运行多个训练任务来比较结果。

    Studio

    可供起步的开源基础模型

    从 Studio 的开源模型目录中挑选基础模型,涵盖 Gemma、Qwen、Llama、Mistral、Phi 和 LFM2.5,参数规模从 230M 到 8B,也可以从 Hugging Face 导入兼容的模型。上线前先确认每个模型的许可证,并从能胜任任务的最小模型开始。

    Hub

    像其他服务一样运行

    从 Hub 下载训练好的模型:完整的 safetensors 适用于 vLLM 等服务端运行时,GGUF 适用于 llama.cpp 和 Ollama。把它部署在你自己的 API 网关后面,沿用 SRE 团队已在监控的自动扩缩容、健康检查、回滚和延迟预算。运行时完全不依赖 Ertas。

    Studio

    在 Data Craft 中由专家审核

    在 Studio 的引导式数据集构建工具 Data Craft 中构建和清理训练集。添加 USER 和 ASSISTANT 轮次,编辑示例并管理版本,跟踪哪些示例已经由产品或领域专家批准。训练数据会上传到 Ertas 的云端 GPU,因此请先删除来自用户的数据中的个人信息,不再需要时也可以删除数据集。

    Example Workflow

    一家开发项目管理软件的 B2B SaaS 公司,希望推出一项 AI 功能,按团队、优先级和项目领域自动给新任务分类。产品团队导出 20 万条已经分好类的历史任务,删去自由文本中的客户姓名和个人信息,整理成 JSONL 训练集,并预留几千条任务作为测试集。在 Ertas Studio 中,一位机器学习工程师分别在 Qwen 2.5 3B 和 Mistral 7B 上设置 LoRA 微调任务,两者并行训练。随后他下载两个模型,用预留任务给它们打分,并与团队做原型时使用的提示词加 API 方案进行对比。表现更好的模型导出为 safetensors,部署在应用 API 网关后面的 vLLM 上,SRE 团队像监控其他服务一样监控它的延迟和错误率。团队在下一个版本中发布了这项功能,并随着新团队和新项目领域的出现每季度重新训练一次。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.