大模型应用一站式开发：从需求锚定到运维落地

极客时间《情感陪伴机器人》相关笔记的总览篇：把提示词锚定、需求定义、技术选型、开发集成、评估优化与运维串成一条可落地的链路。

提示词「锚定方向」四大要素

1. 目标（Goal）：提示词的核心，需明确模型要完成的具体任务，避免模糊表达。例如「写 500 字人工智能医疗诊断应用短文（含优势与挑战）」远优于「写点关于人工智能的内容」，能让模型精准把握任务边界。
2. 上下文（Context）：提供任务背景与必要外部信息，包括行业背景、使用场景或任务相关材料（如总结文章时，文章本身就是上下文）。同时需要明确区分指令与上下文，避免「提示词注入」，帮助模型理解需求关联性。
3. 期望（Expectation）：定义响应的格式、风格与受众，如「以项目符号呈现」「用正式商业语气」「面向 10 岁儿童解释」，或代码生成时指定语言与输入输出需求，减小后续调整成本。
4. 来源（Source）：指定模型生成响应需参考的数据源（如指定文档、财报、数据集链接），适用于需领域知识或实时信息的任务；若模型已具备所需信息，此要素可省略。

无论采用何种框架，核心思想一致——通过「清晰目标 + 充分上下文 + 明确期望 + 精准来源（按需）」，为模型提供完整「执行指南」。避免冗余信息，同时确保关键信息不缺失，才能最大化降低理解偏差。

简易流程

1. 用户提问
2. LLM 分析问题是否需要 RAG
3. 如果不需要 RAG，直接使用 LLM 生成答案
4. 如果需要 RAG，通过互联网、向量数据库、文件等数据源获取相关知识
5. 过滤、排序后形成 prompt context，再送给 LLM 总结生成答案
6. 将答案返回

需求定义

1. 核心目标：锚定「做什么」和「为什么做」

• 「为什么做」：定义项目的价值原点
• 「做什么」：定义项目的边界范围

2. 关键问题拆解：让需求从「模糊」到「具体」

业务痛点：挖掘「可量化的具体瓶颈」。分析时可遵循「场景 → 行为 → 痛点 → 影响」的逻辑链。

目标用户：区分「直接用户」与「关联角色」。

感悟：流程都要被「看见」——无论是好是坏、被攻击还是出错，都要被衡量。之后拿这些数据改进系统。如果可能，转人工，人工兜底。

3. 核心指标：设定「可验证的量化标准」

例如自动回复场景：

4. 技术必要性：判断「是否真的需要大模型」

1. 第一层：能否用规则引擎解决？固定格式识别（订单号、手机号）、明确关键词匹配，用 if-else / 正则即可。
2. 第二层：能否用简单机器学习模型解决？单一分类、结构化数据预测，逻辑回归 / 随机森林往往够用且更便宜。
3. 第三层：是否必须用大模型？仅当涉及复杂语义理解、开放领域生成、跨模态处理时，大模型才有不可替代性。

落地方法论：从「需求」到「可执行任务」

明确关键问题后，通过场景拆解与可行性评估，将需求转化为可落地、可验证的子任务。

一、场景拆解：化繁为简

按「独立可执行」「独立可验证」拆分子场景：

1. 按「用户旅程」拆分核心环节（如：提问 → 意图识别 → 自动回复 / 转人工 → 跟进）
2. 提取可落地子场景（如意图识别、常见问题自动生成答案）
3. 明确每个子场景的「最小闭环」：

二、可行性评估：预判风险

按「技术、数据、成本」三维度评估：

实践原则：小场景切入，快速验证价值

遵循「小场景、高价值」：

1. 如何选小场景：优先「高频、低复杂度、数据易获取」——如客服「物流查询」占比高、单轮可解、已有历史对话。
2. 如何验证高价值：落地后看人工转接率、日均处理量等业务指标是否改善。
3. 迭代扩展：常见问题自动回复 → 多轮咨询 → 跨渠道整合，形成「验证 → 优化 → 扩展」螺旋。

技术选型

1. 模型选择

2. 经典架构

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

            用户交互层（Web / App / 小程序）
                     ↑
            接入层与路由层（API Gateway）
                     ↑
                 核心处理层
               - 提示工程
监控与评估 ←→  - RAG 流程          ←→   知识库服务（向量数据库）
               - Agent 协调器
                     ↑
                  大语言模型

开发与集成

• 版本控制：用 Git 管理 Prompt，支持回溯与多版本对比。
• 模板化设计：抽象为「模板 + 变量」，动态注入业务参数。
• 自动化测试：A/B 测试对比不同 Prompt 的准确率、相关性等。

RAG：缓解「知识陈旧」「事实性错误」

• 文档切分：按语义块切分，保证知识单元完整
• 向量化编码
• 混合检索：关键词（精准）+ 向量（广度）
• 重排序：Cross-Encoder 二次排序

Agent：工具调用与多步决策

• 工具封装：统一输入输出与接口
• 流程编排：工具调用 → 结果解析 → 下一步决策
• 记忆管理：短期 + 长期双层体系

评估与优化

从准确性、相关性、效率、用户体验四维衡量：

详见：BLEU 与 ROUGE

感悟：BLEU —— 别漏词，文档原文是否匹配。ROUGE —— 别漏关键点，总结是否遗漏信息。

针对薄弱环节的四项优化

1. Prompt A/B 测试：对比清晰度、格式、上下文量，筛选最优指令
2. 知识库质量提升：更新、去歧义、补领域知识，降幻觉
3. 模型微调（LoRA）：业务专属数据轻量微调
4. 缓存机制：高频问答缓存，降延迟与负载

运维：监控、安全、成本

1. 监控告警：响应延迟、错误率、Token 消耗与峰值；多级阈值告警
2. 安全防护：Prompt 注入防范、输出过滤；输入合法性校验 + 敏感信息拦截
3. 成本控制：模型分层调用、缓存、批处理；核心场景高精度、简单场景轻量模型