--- title: AI写的报告，五分钟看出哪些数字没有出处｜左滕 description: 年份、单位、分母、颗粒度和前后矛盾，不用打开原文就能看出；编出来的来源和引语，只有打开原文才抓得住。从Mata v. Avianca案和德勤澳大利亚报告，整理审报告的五分钟检查。 image: https://nobusato.jp/hubfs/covers-2026-11/check-ai-report-numbers-cover-zh-2026-10-m.png --- [左滕 Nobu Sato](https://nobusato.jp/zh?hsLang=zh-cn) [个人简介](https://nobusato.jp/zh/profile?hsLang=zh-cn) [方法论](https://nobusato.jp/zh/blog/method?hsLang=zh-cn) [文章](https://nobusato.jp/zh/blog?hsLang=zh-cn) [术语表](https://nobusato.jp/zh/blog/glossary?hsLang=zh-cn) [联系我](https://nobusato.jp/zh/contact?hsLang=zh-cn) [日本語](https://nobusato.jp/ja/blog/check-ai-report-numbers)[English](https://nobusato.jp/en/blog/check-ai-report-numbers)[中文](https://nobusato.jp/zh/blog/check-ai-report-numbers) 职业发展 本文 1. [为什么不能问 AI「这是真的吗」](https://nobusato.jp/zh/blog/check-ai-report-numbers#s1) 2. [顾问交的报告，也会这样](https://nobusato.jp/zh/blog/check-ai-report-numbers#s2) 3. [五分钟里先看什么](https://nobusato.jp/zh/blog/check-ai-report-numbers#s3) 4. [链接打得开，也不等于对](https://nobusato.jp/zh/blog/check-ai-report-numbers#s4) 5. [我的判断：口径对不上，比编造更常见](https://nobusato.jp/zh/blog/check-ai-report-numbers#s5) 6. [查出问题，怎么退回去](https://nobusato.jp/zh/blog/check-ai-report-numbers#s6) 1. [首页](https://nobusato.jp/zh?hsLang=zh-cn) 2. [文章](https://nobusato.jp/zh/blog?hsLang=zh-cn) 3. [职业发展](https://nobusato.jp/zh/blog/tag/职业发展) # AI写的报告，五分钟看出哪些数字没有出处 审报告的人，先看这五分钟 [左滕](https://nobusato.jp/zh/profile?hsLang=zh-cn)约6分钟 目录6 1. [为什么不能问 AI「这是真的吗」](https://nobusato.jp/zh/blog/check-ai-report-numbers#s1) 2. [顾问交的报告，也会这样](https://nobusato.jp/zh/blog/check-ai-report-numbers#s2) 3. [五分钟里先看什么](https://nobusato.jp/zh/blog/check-ai-report-numbers#s3) 4. [链接打得开，也不等于对](https://nobusato.jp/zh/blog/check-ai-report-numbers#s4) 5. [我的判断：口径对不上，比编造更常见](https://nobusato.jp/zh/blog/check-ai-report-numbers#s5) 6. [查出问题，怎么退回去](https://nobusato.jp/zh/blog/check-ai-report-numbers#s6) 2023 年，纽约一名律师用 ChatGPT 找判例，后来又追问了一句：「你给的其他案子是假的吗？」ChatGPT 说不是，都是真判例，Westlaw 和 LexisNexis 上都查得到。结果法院一查，六个判例一个都不存在。拿到一份 AI 或下属写的报告，审的人最该学的就是这一课：别问写的人真不真，自己花五分钟去看。 ## 为什么不能问 AI「这是真的吗」 因为它会替自己作保。上面这件事是 Mata v. Avianca 案，美国纽约南区联邦地区法院的 P. Kevin Castel 法官 2023 年 6 月 22 日作出制裁决定：两名律师和所在律所共同罚款 5,000 美元，还要给每一位被冒名「写了」假判决的法官寄信，附上制裁决定和那份假判决。 律师追问的截图后来交给了法院。问「Varghese 是真案子吗」，答是；问「其他案子是假的吗」，答都是真的。用写报告的工具去核对报告，等于让考生自己批卷子。 法官的态度其实不反技术。决定书开头写：技术进步很平常，用一个可靠的 AI 工具帮忙，本身没有什么不妥；但现行规则要求律师当守门人，确保提交的东西准确。 守门人这个词，放到公司里，就是审报告的那个人。 ## 顾问交的报告，也会这样 会，而且是收了钱的报告。2025 年，德勤澳大利亚给澳大利亚就业与职场关系部做了一份评审报告，对象是一个对不履行求职义务的福利领取者进行处罚的 IT 系统，合同金额 44 万澳元。报告 7 月发布后，悉尼大学的研究者 Christopher Rudge 发现里面有编出来的东西：一段据称出自联邦法院判决、判决里却没有的引语，还有几份根本不存在的报告被当成参考文献。 9 月 26 日，该部挂出修订版，删掉了十几处参考文献和脚注，还在方法部分补写了一句，承认用了基于 Azure OpenAI GPT-4o 的生成式 AI 工具链。德勤同意退还合同的最后一期款项。 这件事里我最在意的一点：错误是报告公开之后，由一个外部读者发现的。交付之前，至少有写报告的人和收报告的部门两道关，都没拦住。 ## 五分钟里先看什么 先看不用打开原文就能看出来的，再随手挑几个数字打开原文。我的顺序大致如下。 年份和单位。一个比例没写哪一年，一个金额没写币种和是不是含税，先打个问号。时效性数字没写「截至何时」，过半年就没法用了。 分母是谁。「外国员工占 20%」，分母是全体员工还是正社员？日本法人还是集团？分母不写，这个数字就没法跟任何东西比。 来源是第几手。媒体转述、AI 摘要、公司官网上的自我介绍，都要回到被转述的原文。公司自报的数，最多算主张。 颗粒度对不对。一个 200 人的调查，每个人占 0.5 个百分点，比例只能是 0.5 的倍数。报告里写 37.42%，这个数要么分母不是 200，要么不是这么算出来的。反过来，太圆的数也要问一句，「约三成」后面没有来源，往往是谁顺口说的。 前后打不打架。第 3 页说市场规模 500 亿日元，第 9 页说 800 亿，中间没解释口径，至少有一个是错的。 最后才是最花时间、也最能抓住编造的两步：随手挑三个数字，打开链接，看那一页上有没有这句话；报告里引了谁的原话，复制一段去搜。 编出来的来源和引语，只有打开原文才抓得住 审 AI 或下属写的报告时的检查项，按两条轴分。案例：Mata v. Avianca（2023）、德勤澳大利亚为就业与职场关系部做的评审报告（2025） 横：左＝不用打开原文，右＝要打开原文　纵：上＝抓编造，下＝抓口径错 前后打架、颗粒度不对 同一个数前后不一样；200 人的调查写出 37.42%，任何整数人数都算不出这个比例 打开链接，搜引语原话 链接打不开，或打开了没有这句话。纽约律师的 6 个判例、德勤报告里的法院判决引语，都在这一格露馅 年份、单位、分母 没写年份的数字，没写谁被数进去的比例。查起来最便宜，我估计也最常见 来源是不是一手 媒体转述、AI 摘要、公司自报的数，回到原文去对口径 格式越整齐，越容易让人跳过最后一步。挑三个数字，打开原文。 图1　审报告时，年份、单位、分母和前后矛盾不用打开原文就能看出，编造的来源和引语只有打开原文才抓得住；2023 年纽约律师提交的 6 个虚构判例，和 2025 年德勤澳大利亚 44 万澳元报告里的虚构判决引语，都属于右上那一格。 ## 链接打得开，也不等于对 打得开只是第一关。William H. Walters 和 Esther Isabelle Wilder 2023 年在《Scientific Reports》上发了一项研究：让 ChatGPT 就 42 个题目写 84 篇短文，共生成 636 条参考文献。GPT-3.5 给的文献里 55% 是编的，GPT-4 是 18%。剩下那些真实存在的文献里，GPT-3.5 有 43%、GPT-4 有 24% 带着实质性错误。 这项研究测的是两年多前的模型，现在的比例未必还是这样。我觉得第二个数字更值得记住：文献是真的，内容对不上，这种错误打开链接看一眼标题是发现不了的。所以挑出来的那三个数字，要在原文里找到那一句，看单位和年份是不是同一个。 ## 我的判断：口径对不上，比编造更常见 这个我没统计过，只是我的判断。编出来的数字是少数，多数报告的问题，我看是出在另一头：数是真的，口径不对。 同一家公司，女性管理职比例能有四个不同的数，因为分母和「管理职」的定义不一样，[一家公司，四个女性管理职比率](https://nobusato.jp/zh/blog/same-company-different-numbers?hsLang=zh-cn)那篇专门拆过。日本人每月加班多少小时，也能是 13 小时，也能是 21 小时，看你用哪个调查、数的是谁，见[日本人每月加班多少小时](https://nobusato.jp/zh/blog/japan-overtime-two-numbers?hsLang=zh-cn)。AI 很擅长找到一个真实的数字，放进一个不属于它的句子里。 这类错误比编造难抓，因为每个数单独看都对。只有把分母写出来，才看得出两个数不能放在一起比。 ## 查出问题，怎么退回去 别自己动手改。改了，写的人下次还会这么交。 在有问题的地方标上三种记号就够：没有出处的，标「未披露」或者要出处；有出处但对不上的，标出原文那一句；是判断不是事实的，标「待验证」。这三个词的用法，[三条规矩](https://nobusato.jp/zh/blog/method-principles?hsLang=zh-cn)那页写过。 五分钟查不完一份报告。它的作用是决定这份报告值不值得你花一个小时细读，还是直接退回去，让写的人先把每个数字的出处补上。让写的人自己去补，比你替他补，下一版更可能真的变好。 来源（以2026年11月为准） - [Mata v. Avianca, Inc., No. 22-cv-1461 (PKC)，美国纽约南区联邦地区法院 制裁决定（Opinion and Order on Sanctions），2023年6月22日](https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/) - [ABA Journal「Lawyers who 'doubled down' and defended ChatGPT's fake cases must pay $5K, judge says」2023年6月](https://abajournal.com/web/article/lawyers-who-doubled-down-and-defended-chatgpts-fake-cases-must-pay-5k-judge-says) - [Edmund Tadros, Paul Karp「Deloitte to refund government, admits using AI in $440k report」Australian Financial Review，2025年10月5日](https://www.afr.com/companies/professional-services/deloitte-to-refund-government-after-admitting-ai-errors-in-440k-report-20251005-p5n05p) - [澳大利亚就业与职场关系部（DEWR）「Targeted Compliance Framework Assurance Review – Final Report」2025年7月4日版，2025年9月26日修订版](https://www.dewr.gov.au/assuring-integrity-targeted-compliance-framework/resources/targeted-compliance-framework-assurance-review-final-report) - [William H. Walters, Esther Isabelle Wilder「Fabrication and errors in the bibliographic citations generated by ChatGPT」Scientific Reports，2023年9月](https://doaj.org/article/fc88ea07ec994a7c8a144f8516c48cbf) --- 作者 [左滕](https://nobusato.jp/zh/profile?hsLang=zh-cn)Nobu Sato 在日本落地，先从人和机制开始。用中文、日文、英文写组织、销售和技术组织在日本的落地。 [个人简介](https://nobusato.jp/zh/profile?hsLang=zh-cn)[联系我](https://nobusato.jp/zh/contact?hsLang=zh-cn) ## 接着读 1. 01[用AI做竞对报告：每个数字都要追得到原文](https://nobusato.jp/zh/blog/ai-competitor-report-sources?hsLang=zh-cn)约5分钟 生成式搜索引擎的回答里，平均只有51.5%的句子被引文完整支持。用AI做竞对报告，按问题与口径、来源分级、链接加原文位置加抓取日、算式、结论分栏，每个数字都追得回原文那一句。 2. 02[AI写的文章，为什么一眼就能认出来](https://nobusato.jp/zh/blog/why-ai-writing-is-easy-to-spot?hsLang=zh-cn)约6分钟 常用ChatGPT的五个人投票，300篇只判错1篇，比多数检测工具都准。2024年论文摘要里多出来的454个词，379个是文风词。AI腔从哪来，中文的AI腔长什么样，改词为什么不够。 3. 03[换工作前，先给自己做一次四层画像](https://nobusato.jp/zh/blog/four-layer-self-portrait-before-changing-jobs?hsLang=zh-cn)约3分钟 猎头来电话，薪水高两成。先别改简历，把过去三次换工作的真实原因并排放在一起，看你的内核层到底要什么。六项驱动力只有排序没有优劣，反复出现的那两项，就是下一份工作必须给你的东西。 [专栏导读：职业发展](https://nobusato.jp/zh/blog/guide-career?hsLang=zh-cn) · [术语表](https://nobusato.jp/zh/blog/glossary?hsLang=zh-cn) · [文章背后的方法论](https://nobusato.jp/zh/blog/method?hsLang=zh-cn) [← 文章列表](https://nobusato.jp/zh/blog?hsLang=zh-cn) ## 用三种语言，写在日本落地这件事。 [个人简介](https://nobusato.jp/zh/profile?hsLang=zh-cn) [联系我](https://nobusato.jp/zh/contact?hsLang=zh-cn) 左滕 / Nobu Sato 用三种语言，写在日本落地这件事。 [info@nobusato.jp](mailto:info@nobusato.jp) [小红书](https://www.xiaohongshu.com/user/profile/6adb8bb40000000013022113)[知乎](https://www.zhihu.com/people/honcho)[LinkedIn](https://www.linkedin.com/in/realnobusato/) [RSS](https://nobusato.jp/zh/blog/rss.xml?hsLang=zh-cn) [个人简介](https://nobusato.jp/zh/profile?hsLang=zh-cn)[方法论](https://nobusato.jp/zh/blog/method?hsLang=zh-cn)[文章](https://nobusato.jp/zh/blog?hsLang=zh-cn)[术语表](https://nobusato.jp/zh/blog/glossary?hsLang=zh-cn)[联系我](https://nobusato.jp/zh/contact?hsLang=zh-cn) 文章仅代表个人观点，与我任职或曾任职的机构无关。 © 2026 左滕·[隐私政策与免责声明](https://nobusato.jp/zh/privacy?hsLang=zh-cn) ```json { "@context" : "https://schema.org", "@type" : "BreadcrumbList", "itemListElement" : [ { "@type" : "ListItem", "item" : "https://nobusato.jp/zh", "name" : "首页", "position" : 1 }, { "@type" : "ListItem", "item" : "https://nobusato.jp/zh/blog", "name" : "文章", "position" : 2 }, { "@type" : "ListItem", "item" : "https://nobusato.jp/zh/blog/tag/职业发展", "name" : "职业发展", "position" : 3 }, { "@type" : "ListItem", "item" : "https://nobusato.jp/zh/blog/check-ai-report-numbers", "name" : "AI写的报告，五分钟看出哪些数字没有出处", "position" : 4 } ] } ``` ```json { "@context" : "https://schema.org", "@id" : "https://nobusato.jp/zh/blog/check-ai-report-numbers", "@type" : "WebPage", "about" : { "@type" : "Thing", "name" : "职业发展" }, "author" : { "@id" : "https://nobusato.jp/#person" }, "description" : "年份、单位、分母、颗粒度和前后矛盾，不用打开原文就能看出；编出来的来源和引语，只有打开原文才抓得住。从Mata v. Avianca案和德勤澳大利亚报告，整理审报告的五分钟检查。", "inLanguage" : "zh-Hans", "isPartOf" : { "@id" : "https://nobusato.jp/zh/blog", "@type" : "Blog", "name" : "文章" }, "keywords" : "职业发展", "name" : "AI写的报告，五分钟看出哪些数字没有出处", "url" : "https://nobusato.jp/zh/blog/check-ai-report-numbers" } ``` ```json { "@context" : "https://schema.org", "@id" : "https://nobusato.jp/#person", "@type" : "Person", "alternateName" : [ "佐藤伸明", "Nobu Sato", "左滕" ], "description" : "日本落地：组织・销售・技术组织搭建", "knowsAbout" : [ "Japan market entry", "Organization design", "Talent acquisition", "Sales organization building", "Technology organization building", "Japanese labor law" ], "name" : "左滕", "sameAs" : [ "https://www.linkedin.com/in/realnobusato/", "https://x.com/nobusato5888" ], "url" : "https://nobusato.jp/zh/profile" } ``` ```json { "@context" : "https://schema.org", "@type" : "BlogPosting", "author" : { "@type" : "Person", "name" : "左滕", "url" : "https://nobusato.jp/zh/blog/author/nobu-sato" }, "dateModified" : "2026-11-04T17:39:26.241Z", "datePublished" : "2026-11-04T17:42:42.000Z", "headline" : "AI写的报告，五分钟看出哪些数字没有出处", "image" : [ "https://nobusato.jp/hubfs/covers-2026-11/check-ai-report-numbers-cover-zh-2026-10-m.png" ], "mainEntityOfPage" : { "@id" : "https://nobusato.jp/zh/blog/check-ai-report-numbers", "@type" : "WebPage" }, "publisher" : { "@type" : "Organization", "logo" : { "@type" : "ImageObject", "url" : "https://nobusato.jp/hubfs/seo/logo-nobusato-2026-10.png" }, "name" : "nobusato.jp" } } ```