AI写的报告，五分钟看出哪些数字没有出处

2023 年，纽约一名律师用 ChatGPT 找判例，后来又追问了一句：「你给的其他案子是假的吗？」ChatGPT 说不是，都是真判例，Westlaw 和 LexisNexis 上都查得到。结果法院一查，六个判例一个都不存在。拿到一份 AI 或下属写的报告，审的人最该学的就是这一课：别问写的人真不真，自己花五分钟去看。

为什么不能问 AI「这是真的吗」

因为它会替自己作保。上面这件事是 Mata v. Avianca 案，美国纽约南区联邦地区法院的 P. Kevin Castel 法官 2023 年 6 月 22 日作出制裁决定：两名律师和所在律所共同罚款 5,000 美元，还要给每一位被冒名「写了」假判决的法官寄信，附上制裁决定和那份假判决。

律师追问的截图后来交给了法院。问「Varghese 是真案子吗」，答是；问「其他案子是假的吗」，答都是真的。用写报告的工具去核对报告，等于让考生自己批卷子。

法官的态度其实不反技术。决定书开头写：技术进步很平常，用一个可靠的 AI 工具帮忙，本身没有什么不妥；但现行规则要求律师当守门人，确保提交的东西准确。

守门人这个词，放到公司里，就是审报告的那个人。

顾问交的报告，也会这样

会，而且是收了钱的报告。2025 年，德勤澳大利亚给澳大利亚就业与职场关系部做了一份评审报告，对象是一个对不履行求职义务的福利领取者进行处罚的 IT 系统，合同金额 44 万澳元。报告 7 月发布后，悉尼大学的研究者 Christopher Rudge 发现里面有编出来的东西：一段据称出自联邦法院判决、判决里却没有的引语，还有几份根本不存在的报告被当成参考文献。

9 月 26 日，该部挂出修订版，删掉了十几处参考文献和脚注，还在方法部分补写了一句，承认用了基于 Azure OpenAI GPT-4o 的生成式 AI 工具链。德勤同意退还合同的最后一期款项。

这件事里我最在意的一点：错误是报告公开之后，由一个外部读者发现的。交付之前，至少有写报告的人和收报告的部门两道关，都没拦住。

五分钟里先看什么

先看不用打开原文就能看出来的，再随手挑几个数字打开原文。我的顺序大致如下。

年份和单位。一个比例没写哪一年，一个金额没写币种和是不是含税，先打个问号。时效性数字没写「截至何时」，过半年就没法用了。

分母是谁。「外国员工占 20%」，分母是全体员工还是正社员？日本法人还是集团？分母不写，这个数字就没法跟任何东西比。

来源是第几手。媒体转述、AI 摘要、公司官网上的自我介绍，都要回到被转述的原文。公司自报的数，最多算主张。

颗粒度对不对。一个 200 人的调查，每个人占 0.5 个百分点，比例只能是 0.5 的倍数。报告里写 37.42%，这个数要么分母不是 200，要么不是这么算出来的。反过来，太圆的数也要问一句，「约三成」后面没有来源，往往是谁顺口说的。

前后打不打架。第 3 页说市场规模 500 亿日元，第 9 页说 800 亿，中间没解释口径，至少有一个是错的。

最后才是最花时间、也最能抓住编造的两步：随手挑三个数字，打开链接，看那一页上有没有这句话；报告里引了谁的原话，复制一段去搜。

编出来的来源和引语，只有打开原文才抓得住

审 AI 或下属写的报告时的检查项，按两条轴分。案例：Mata v. Avianca（2023）、德勤澳大利亚为就业与职场关系部做的评审报告（2025）

横：左＝不用打开原文，右＝要打开原文　纵：上＝抓编造，下＝抓口径错

前后打架、颗粒度不对

同一个数前后不一样；200 人的调查写出 37.42%，任何整数人数都算不出这个比例

打开链接，搜引语原话

链接打不开，或打开了没有这句话。纽约律师的 6 个判例、德勤报告里的法院判决引语，都在这一格露馅

年份、单位、分母

没写年份的数字，没写谁被数进去的比例。查起来最便宜，我估计也最常见

来源是不是一手

媒体转述、AI 摘要、公司自报的数，回到原文去对口径

格式越整齐，越容易让人跳过最后一步。挑三个数字，打开原文。

链接打得开，也不等于对

打得开只是第一关。William H. Walters 和 Esther Isabelle Wilder 2023 年在《Scientific Reports》上发了一项研究：让 ChatGPT 就 42 个题目写 84 篇短文，共生成 636 条参考文献。GPT-3.5 给的文献里 55% 是编的，GPT-4 是 18%。剩下那些真实存在的文献里，GPT-3.5 有 43%、GPT-4 有 24% 带着实质性错误。

这项研究测的是两年多前的模型，现在的比例未必还是这样。我觉得第二个数字更值得记住：文献是真的，内容对不上，这种错误打开链接看一眼标题是发现不了的。所以挑出来的那三个数字，要在原文里找到那一句，看单位和年份是不是同一个。

我的判断：口径对不上，比编造更常见

这个我没统计过，只是我的判断。编出来的数字是少数，多数报告的问题，我看是出在另一头：数是真的，口径不对。

同一家公司，女性管理职比例能有四个不同的数，因为分母和「管理职」的定义不一样，一家公司，四个女性管理职比率那篇专门拆过。日本人每月加班多少小时，也能是 13 小时，也能是 21 小时，看你用哪个调查、数的是谁，见日本人每月加班多少小时。AI 很擅长找到一个真实的数字，放进一个不属于它的句子里。

这类错误比编造难抓，因为每个数单独看都对。只有把分母写出来，才看得出两个数不能放在一起比。

查出问题，怎么退回去

别自己动手改。改了，写的人下次还会这么交。

在有问题的地方标上三种记号就够：没有出处的，标「未披露」或者要出处；有出处但对不上的，标出原文那一句；是判断不是事实的，标「待验证」。这三个词的用法，三条规矩那页写过。

五分钟查不完一份报告。它的作用是决定这份报告值不值得你花一个小时细读，还是直接退回去，让写的人先把每个数字的出处补上。让写的人自己去补，比你替他补，下一版更可能真的变好。

---