What is 提示工程(Prompt Engineering)?
在不修改模型权重的情况下,通过设计和迭代输入提示来从大语言模型中引出期望输出的实践。
Definition
提示工程是一门设计输入(提示)以引导语言模型产生有用、准确和格式良好的输出的艺术与科学。与修改模型内部权重的微调不同,提示工程完全在输入层面工作——改变你问的内容而非模型的思维方式。它涵盖了从简单的指令编写到复杂的多步骤提示策略,如思维链、少样本学习和思维树推理等技术。
这一学科的出现是因为大语言模型对提示措辞高度敏感。同一个问题以略有不同的方式提出可能产生截然不同的答案。提示工程系统地利用这种敏感性:通过在提示中提供清晰的指令、相关的上下文、输出格式规范和示范性示例,从业者可以在无需任何训练的情况下显著提升模型在特定任务上的表现。常见技术包括少样本提示(提供期望的输入-输出对示 例)、思维链提示(要求模型逐步展示其推理过程)和角色提示(为模型分配一个角色,如「放射科专家」)。
虽然提示工程功能强大且除推理外不需要任何计算,但它有其固有局限性。提示消耗上下文窗口 token,减少了实际内容的可用空间。复杂的提示策略增加延迟和成本。而且提示能达到的效果存在上限——当模型在经过大量提示优化后仍然在领域特定任务上持续失败时,微调就成为更有效的方法。
Why It Matters
提示工程是改善大语言模型任务表现的最快和最低成本的方式。它不需要训练数据、不需要 GPU 计算、不需要 ML 专业知识——只需要对输入进行仔细的迭代。对于许多用例,精心设计的提示已经足以支持生产部署。然而,理解提示工程的局限性同样重要:它帮助团队识别何时应该从纯提示方法升级到微调,微调通常在领域特定任务上相比最精心设计的提示提供 20-50% 的准确率提升。
How It Works
提示工程工作流从编写初始提示并在一组代表性输入上测试开始。从业者评估输出的质量、准确性和一致性,然后迭代提示——调整指令、添加约束、提供示例或重构格式。系统性评估需要一个带有预期输出的基准数据集。提示试验场等工具允许对不同提示变体进行快速 A/B 测试。高级技术包括检索增强生成(RAG),在推理时动态检索相关上下文并注入到提示中,使模型的回答建立在事实数据的基础上。
Example Use Case
一家 SaaS 公司最初使用提示工程构建客户支持聊天机器人,通过精心设计的系统提示和少样本示例达到了 62% 的问题解决准确率。经过三周的提示迭代,准确率在 68% 处进入平台期。然后他们使用 Ertas Studio 在 5,000 条已解决的客服工单上微调同一模型,达到了 84% 的准确率——提示工程单独无法实现的 16 个百分点的提升。他们继续在微调模型上使用优化的系统提示,结合两种技术以获得最佳效果。
Key Takeaways
- 提示工程通过优化输入而非权重来改善模型输出。
- 关键技术包括少样本提示、思维链和角色提示。
- 它是改善大语言模型表现的最快和最便宜的方式,无需训练。
- 提示工程有性能上限——微调通常在领域任务上超越它。
- 最佳效果通常来自将微调与精心设计的提示相结合。
How Ertas Helps
Ertas 将微调定位为提示工程达到上限时的自然下一步。平台使这种过渡无缝衔接:用户可以将用于少样本提示的相同示例作为 JSONL 训练数据上传,并微调一个将该知识内化到权重中的模型。Ertas Studio 还允许用户配置在模型评估期间使用的系统提示,实现提示工程加微调的组合工作流以获得最佳效果。
Related Resources
系统提示
微调
上下文窗口
聊天模板
温度
Vibe Coding(氛围编程)
Getting Started with Ertas: Fine-Tune and Deploy Custom AI Models
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
From Cursor to Production: Deploying AI Features Without Vendor Lock-In
Ollama
llama.cpp
Cursor
Ertas for SaaS Product Teams
Ertas for Customer Support
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.