AI 实用 10｜使用的边界：幻觉、隐私、成本与合规
幻觉不是 bug，是机制的副产品
模型生成文本的方式是"根据上文预测下一个最可能的词"。它优化的是"像真的"，不是"是真的"。所以在它不知道的地方，它会用最合理的方式编一个——而且编得比真话还流畅。
这一点必须理解清楚：幻觉不会因为模型更大而消失，只会变得更难识别。大模型的幻觉更像真的，反而更危险。
幻觉的高危区（几乎必然出错）
- 具体数字：市占率、增长率、价格、统计口径
- 具体日期与人物：谁在哪年做了什么
- 条文、条款、标准编号：法规条款号、国标号、DOI、文献引用
- API 与库的用法：不存在的函数、已废弃的方法
- 小众领域：模型训练数据里覆盖很少的内容
相对可靠区
- 语言类任务（改写、翻译、润色、格式转换）
- 通用常识与概念解释
- 结构化的推理（只要前提是你给的）
- 代码的"骨架"（逻辑框架通常对，细节要核）
判断标准：这个答案里有没有"可被外部验证的具体事实"？有，就必须验。
三类核验方法，按成本排
1. 让它自己交代来源（最便宜）
回答里每一个具体数字、条款、引用，都标注来源。
无法确定来源的，直接删除，不要保留。
大多数时候，它会在这一步自己删掉一大半编造内容。"要求引用"本身就能显著降低幻觉。
2. 交叉验证（中等成本）
同一问题，换一种问法再问一次。两次答案在关键事实上不一致，就说明这块它不确定。
也可以换个模型问。两个不同模型在同一个事实上都一致，可信度会高不少（但仍不等于正确）。
3. 外部核实（必须做的那部分）
法规、标准、医学、财务、合同条款——这类内容没有任何"AI 说对了我就不查"的空间，必须去原文核。
隐私：三类信息不要贴
- 可直接识别个人的：身份证号、手机号、住址、银行卡、病历、人脸照片。
- 商业敏感：未公开的财务数据、客户名单、合同条款、源代码（含密钥）。
- 受监管的数据：医疗记录、金融账户、未成年人信息、员工人事档案。
脱敏的具体做法
| 原始 | 替换 |
|---|---|
| 张三 / 13800138000 | 张* / 138****8000 |
| 客户公司真名 | A公司、B公司 |
| 具体金额 | 按比例缩放，或写成"约 100 万量级" |
| 内部系统名、IP、域名 | 用sys-A、10.0.0.x 代替 |
| 身份证 | 前 6 位 +******** + 后 4 位 |
关键判断：这个任务真的需要真实值吗？ 大多数分析、写作、改写的任务，只需要"结构和量级"，不需要真名真号。
一个容易被忽视的点
聊天记录、截图、附件里也可能含敏感信息。上传整份会议纪要时，里面有客户名、报价、内部人事安排——这些都会一起被送出去。
习惯动作：先看一眼要提交的内容里有没有不该出现的东西，再做删减。
成本：钱到底花在哪
按量计费时，成本由三部分组成：输入 token + 输出 token + 调用次数。通常输入比输出便宜，但长上下文会让输入迅速膨胀。
四个真正有效的省钱手段
1. 别把整个知识库塞进提示
差：把 50 页文档全塞进去，每次提问都付一遍
好：先检索出 3 段相关片段，只塞这些
这就是 RAG 的成本意义——用一次检索的便宜，换掉每次全量上下文的昂贵。
2. 用提示缓存（prompt caching）
如果每次请求都有相同的前缀（系统提示、固定的资料、长示例），利用缓存机制能让这部分只计一次费。把固定内容放前面、变化内容放后面，是拿到缓存收益的前提。
3. 分级用模型
| 任务 | 用什么 |
|---|---|
| 分类、抽取、格式转换、简单问答 | 小模型就够 |
| 写代码、复杂分析、长文写作 | 大模型 |
| 大批量离线处理 | 批处理接口（通常更便宜） |
先用小模型试，不行再升级。反过来（先用大模型再降级）通常是因为没想清楚任务难度。
4. 控制输出长度
输出通常比输入贵。让它"简洁"不够，要给硬约束：
输出不超过 300 字。超过的部分会被截断。
只要结论和依据，不要展开。
一个常见的浪费
反复重试同一条失败的长提示。一条 8000 token 的提示失败了五次，成本是成功的五倍还多。正确做法是先缩短、简化、拆步骤，再重试。
合规：四件事必须知道
- 版权。生成内容的商用授权取决于工具的服务条款。用别人的作品做风格参考、做图生图，风险更高。
- 生成内容标识。多地已要求对 AI 生成的图片、视频、音频做标识，尤其是可能被误认为真实的内容。发布前查平台规则。
- 不得冒充。不能用 AI 模仿特定真人的声音、形象、笔迹去做对外表达。不能生成虚假的证件、公文、证明材料、新闻图片。
- 专业领域的建议。医疗、法律、投资——AI 输出只能作为"参考信息"，对外提供时必须明确说明"不构成诊断/法律意见/投资建议"，并且由有资质的人签署。
三类"看起来没问题"的错误用法
1. 把输出直接进生产
AI 生成 SQL → 直接在生产库跑
AI 生成的代码 → 直接合并
AI 写的文案 → 直接对外发布
这三条都会出事，只是时间早晚。任何进入生产、对外、涉及钱的输出，必须有人看过。
2. 用 AI 替代判断
AI 可以给你三个方案和各自的代价，但选哪个是人的责任。尤其是有利益冲突、有伦理含义、有长期后果的决定。
3. 把"它说得很有道理"当成"它说得对"
流畅度是最不可靠的可信度信号。一段文字逻辑自洽、语气笃定，不代表事实正确——恰恰相反，编造的内容往往比真实内容更"顺"，因为它是为了顺而生成的。
依赖问题：一个真实的风险
长期用 AI 完成某类工作后，人在这方面的能力会退化。这不是危言耸听，是可观察的现象：
- 不再自己推演，只接受结论
- 不再自己组织语言，只会改 AI 的稿
- 遇到 AI 不会的边界情况，完全无从下手
降低风险的做法：定期"不用 AI 做一遍"。写方案先自己拉个提纲，写代码先自己画个结构，然后再交给 AI 补充。保留"自己来"的能力，是保留判断力的前提。
一份可直接用的边界清单
可以放心交给 AI
- 格式转换、信息重组、摘要
- 语言润色、翻译、语气调整
- 生成初稿、列出可能性、找反例
- 代码骨架、正则/公式/SQL 的语法
- 结构化整理（会议记录、需求列表）
必须人核
- 所有数字、日期、法规条款、引用
- 涉及合同、财务、医疗、法律的表述
- 代码里涉及鉴权、加解密、资金的部分
- 任何要对外发布的内容
不要交给 AI
- 未脱敏的个人敏感数据
- 需要签字担责的判断
- 你不理解的方案（看不懂就不能用）
- 冒充真人、伪造证明材料
最后一句
AI 的上限不是模型能力，是使用者的判断力。它能把"你已经想清楚的事"做得又快又好，也能把"你没想清楚的事"包装成看起来想清楚了的样子。
区分这两种情况，是这套工具唯一真正的门槛。