自 2024 年进入 AI 领域，公司基于火山引擎扣子等平台累计服务客户 800 余家，覆盖自媒体工作室、医疗、外贸、金融、生产制造等行业，客户分布在国内以及马来西亚、新加坡、美国等地。
客户越多，越能看出问题其实高度重复。这里把最常见的 7 个坑写出来，供准备上 AI 的团队对照。
坑 1：把知识库当成「上传即用」
原始文档没有结构、章节混排、表格截图、扫描件混在一起时，检索效果一定差。切分策略、元数据、去重与版本管理必须一起做。
坑 2：没有引用出处的回答不敢用
业务同事需要看到「这句话来自哪份文件的哪一段」。没有出处的回答，即使是对的也不会被信任。
坑 3：权限被忽略
知识库一旦涉及人事、财务、合同，就必须沿用原有权限体系：谁能问什么，必须在检索层过滤，而不是靠提示词约束。
坑 4：只看准确率，不算成本
一次对话的成本由输入长度、检索次数、模型档位共同决定。我们通常给客户三档方案（高效果 / 均衡 / 低成本），并测算日活下的月度支出。
坑 5：没有人工兜底
智能客服的价值不是替代人，而是把简单问题挡在前面、把复杂问题带着上下文交给人。转人工的触发规则要提前设计。
坑 6：上线即完工
模型、文档、业务都在变。缺少反馈闭环（点赞/纠错/漏检回流）的系统，三个月后准确率就会掉下来。
坑 7：没有可观测性
至少要能看到：谁在问、问了什么、命中哪些文档、耗时多少、失败原因。没有这些数据，优化无从下手。
一条经验
先把一个岗位的问题解决干净，再复制到第二个岗位。横向摊大饼的项目，通常一个都做不深。
发表回复