---
title: AIが書いた報告書、出典のない数字を5分で見抜く｜佐藤伸明
description: 年・単位・分母、数字の細かさ、前後の食い違いは原文を開かずに分かる。作られた出典と引用は原文を開いて初めて捕まる。架空判例のMata v. Avianca事件とデロイト・オーストラリアの報告書から、受け取る側の確認手順を組む。
image: https://nobusato.jp/hubfs/covers-2026-11/check-ai-report-numbers-cover-ja-2026-10-m.png
---

[佐藤伸明 Nobu Sato](https://nobusato.jp/home?hsLang=ja)

[プロフィール](https://nobusato.jp/ja/profile?hsLang=ja) [方法論](https://nobusato.jp/ja/blog/method?hsLang=ja) [記事](https://nobusato.jp/ja/blog?hsLang=ja) [用語集](https://nobusato.jp/ja/blog/glossary?hsLang=ja) [お問い合わせ](https://nobusato.jp/ja/contact?hsLang=ja)

[日本語](https://nobusato.jp/ja/blog/check-ai-report-numbers)[English](https://nobusato.jp/en/blog/check-ai-report-numbers)[中文](https://nobusato.jp/zh/blog/check-ai-report-numbers)

キャリア

この記事

1. [名のある会社の報告書でも起きるのか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s1)
2. [AIに「本当か」と聞けば済むのではないか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s2)
3. [最初の5分で何を見るか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s3)
4. [リンクが開いても、まだ安心できない](https://nobusato.jp/ja/blog/check-ai-report-numbers#s4)
5. [作り話より多いのは、定義のずれだと思う](https://nobusato.jp/ja/blog/check-ai-report-numbers#s5)
6. [見つけたら、どう返すか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s6)

1. [ホーム](https://nobusato.jp/home?hsLang=ja)
2. [記事](https://nobusato.jp/ja/blog?hsLang=ja)
3. [キャリア](https://nobusato.jp/ja/blog/tag/キャリア)

# AIが書いた報告書、出典のない数字を5分で見抜く

報告書を受け取る側の5分

[佐藤伸明](https://nobusato.jp/ja/profile?hsLang=ja)約7分

目次6

1. [名のある会社の報告書でも起きるのか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s1)
2. [AIに「本当か」と聞けば済むのではないか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s2)
3. [最初の5分で何を見るか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s3)
4. [リンクが開いても、まだ安心できない](https://nobusato.jp/ja/blog/check-ai-report-numbers#s4)
5. [作り話より多いのは、定義のずれだと思う](https://nobusato.jp/ja/blog/check-ai-report-numbers#s5)
6. [見つけたら、どう返すか](https://nobusato.jp/ja/blog/check-ai-report-numbers#s6)

2025年、オーストラリア政府が44万豪ドルで外部に委託した評価報告書に、存在しない文献と、連邦裁判所の判決からの架空の引用が入っていた。見つけたのは発注した省庁でも作成した会社でもなく、公開後に読んだ大学の研究者である。AIや部下が書いた報告書を受け取る側にできることは、思ったより多い。最初の5分で何を見るかを決めておけばよい。

## 名のある会社の報告書でも起きるのか

起きる。上の件は、デロイトのオーストラリア法人が同国の雇用・職場関係省（DEWR）に納めた報告書である。対象は、求職活動などの義務を果たさない福祉受給者にペナルティを科すIT主導の仕組みで、契約額は44万豪ドルだった。

報告書は2025年7月に公開された。その後、シドニー大学のChristopher Rudge氏が、連邦裁判所の判決から引いたとされる一節が判決にないこと、存在しない報告書が参照されていることを指摘した。省は9月26日に修正版を掲載し、十数か所の文献と脚注が削られた。修正版の方法の節には、Azure OpenAI GPT-4oを使った生成AIのツール群を用いたと書き加えられた。デロイトは契約の最終回の支払い分を返金することに応じた。

私がいちばん引っかかるのは、誤りが公開後に外部の読者によって見つかった点だ。作った側と受け取った側、少なくとも二つの関門があったはずで、どちらも通ってしまった。

## AIに「本当か」と聞けば済むのではないか

済まない。AIは自分の書いたものを保証してしまう。2023年の米国の訴訟Mata v. Aviancaで、ある弁護士はChatGPTで判例を探し、そのあと「Varghese は実在する判例か」「ほかの判例は偽物か」と尋ねた。ChatGPTは、どれも実在しWestlawやLexisNexisで見つかると答えた。実際には六つの判決がまるごと存在しなかった。

ニューヨーク南部地区連邦地裁のP. Kevin Castel判事は2023年6月22日、弁護士二人と事務所に連帯で5,000ドルの制裁金を科した。名前を使われた裁判官一人ひとりに、制裁の決定と偽の判決を添えて手紙を送ることも命じている。

決定は技術に否定的なわけではない。冒頭には、技術の進歩はありふれたもので、信頼できるAIツールの助けを借りること自体に不適切な点はない、しかし現行の規則は弁護士に、提出物の正確さを確かめる門番の役割を課している、とある。会社でいえば、門番は報告書を読む人である。書いた道具に答え合わせをさせるのは、受験生に自分の答案を採点させるのに近い。

## 最初の5分で何を見るか

原文を開かなくても分かることから見て、最後に数字をいくつか選んで原文を開く。私の順番はおおよそ次のとおりだ。

年と単位。割合に年がない、金額に通貨や税込みかどうかがない。それだけで一度手を止める。時期で変わる数字に「何年何月時点」がなければ、半年後には使えない。

分母は誰か。「外国籍社員は20%」の分母は全社員か正社員か、日本法人か連結か。分母が書いていない数字は、何とも比べられない。

出典は何次情報か。記事の孫引き、AIの要約、会社サイトの自己紹介は、元の資料に戻す。会社の自己申告は、よくて主張である。

数字の細かさが合っているか。回答者200人の調査なら、一人が0.5ポイントにあたるので、割合は0.5の倍数にしかならない。37.42%と書いてあれば、分母が200ではないか、別の計算をしている。逆に丸すぎる数字にも一言聞きたい。「約3割」に出典がなければ、誰かの口癖だったということもある（会議で一度言われた数字は、なぜか翌週には事実になっている）。

前後で食い違っていないか。3ページ目で市場規模500億円、9ページ目で800億円、定義の説明がなければ、少なくとも一方が違う。

最後が、時間はかかるが作り話をいちばん捕まえやすい作業だ。数字を3件選んでリンクを開き、そのページにその一文があるかを見る。誰かの発言が引用されていれば、一部をコピーして検索する。

作られた出典と引用は、原文を開いたときにしか捕まらない

AIや部下が書いた報告書を確かめる項目を二つの軸で分けた。事例：Mata v. Avianca（2023年）、デロイト・オーストラリアのDEWR向け報告書（2025年）

横：左＝原文を開かずに分かる、右＝原文を開いて分かる　縦：上＝作り話を捕まえる、下＝定義のずれを捕まえる

前後の食い違い、細かさの不一致

同じ数字が場所で違う。200人調査で37.42%は、どの人数でも割り切れない

リンクを開き、引用を検索する

リンクが開かない、開いてもその一文がない。米国の弁護士の六つの判例も、デロイトの判決引用も、ここで露見した

年、単位、分母

年のない数字、誰を数えたか書いていない割合。いちばん安く見つかり、たぶんいちばん多い

一次情報かどうか

記事の孫引き、AI要約、会社の自己申告は、元資料に戻して定義を合わせる

体裁が整っているほど、最後の一手が省かれる。数字を3件選んで、原文を開く。

図1　報告書の確認では、年・単位・分母と前後の食い違いは原文を開かずに分かるが、作られた出典と引用は原文を開いて初めて捕まる。2023年に米国の弁護士が出した六つの架空判例も、2025年のデロイト・オーストラリア44万豪ドルの報告書の架空の判決引用も、右上の枠に入る。

## リンクが開いても、まだ安心できない

開くかどうかは入口にすぎない。William H. WaltersとEsther Isabelle Wilderは2023年、学術誌『Scientific Reports』で、ChatGPTに42のテーマで84本の短い論文を書かせ、付いてきた参考文献636件を一つずつ確かめた結果を報告している。GPT-3.5の文献の55%、GPT-4の18%は存在しなかった。実在した文献のうち、GPT-3.5では43%、GPT-4では24%に実質的な誤りがあった。

二年以上前のモデルの話なので、今の割合は違うかもしれない。私が覚えておきたいのは二つ目の数字のほうだ。文献は実在するのに中身が合わない。この種の誤りは、リンクを開いて題名を見ただけでは見つからない。だから選んだ3件の数字は、原文の中でその一文を探し、年と単位まで合っているかを見る。

## 作り話より多いのは、定義のずれだと思う

数えたわけではないので、ここからは私の見立てである。作られた数字は少数派で、多くの報告書がつまずくのは、数字は本物なのに定義が合っていないところだと思う。

同じ会社でも、女性管理職比率は分母と「管理職」の定義しだいで四通りに出る。[女性管理職比率は一つではない](https://nobusato.jp/ja/blog/same-company-different-numbers?hsLang=ja)で一度ほどいてみた。日本の残業時間も、どの調査で誰を数えるかで月13時間にも21時間にもなる（[残業は月13時間か、21時間か](https://nobusato.jp/ja/blog/japan-overtime-two-numbers?hsLang=ja)）。AIは、本物の数字を見つけてきて、それが属していない文に置くのがうまい。

この種の誤りは作り話より捕まえにくい。どの数字も単独では正しいからだ。分母を書き出してみて、ようやく二つを並べてはいけないことが分かる。

## 見つけたら、どう返すか

自分で直さないほうがよい。直してしまうと、書いた人は次も同じものを出してくる。

印は三種類あれば足りる。出典のない数字には「未開示」か出典の要求、出典はあるが合わないものには原文の該当箇所、事実ではなく判断にあたるものには「要検証」。この言葉の使い方は[推測しないための決まり](https://nobusato.jp/ja/blog/method-principles?hsLang=ja)に書いた。

5分で報告書全体は確かめられない。5分で決めるのは、この報告書に一時間かけて読む値打ちがあるのか、それとも出典を埋めてから出し直してもらうのか、である。出し直しを頼むのは気が引けるが、門番の仕事は本来そこまでだと思っている。

出典（2026年11月時点）

- [Edmund Tadros, Paul Karp「Deloitte to refund government, admits using AI in $440k report」Australian Financial Review、2025年10月5日](https://www.afr.com/companies/professional-services/deloitte-to-refund-government-after-admitting-ai-errors-in-440k-report-20251005-p5n05p)
- [オーストラリア雇用・職場関係省（DEWR）「Targeted Compliance Framework Assurance Review – Final Report」2025年7月4日版、2025年9月26日修正版](https://www.dewr.gov.au/assuring-integrity-targeted-compliance-framework/resources/targeted-compliance-framework-assurance-review-final-report)
- [Mata v. Avianca, Inc., No. 22-cv-1461 (PKC)、米国ニューヨーク南部地区連邦地方裁判所 制裁決定（Opinion and Order on Sanctions）、2023年6月22日](https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/)
- [ABA Journal「Lawyers who 'doubled down' and defended ChatGPT's fake cases must pay $5K, judge says」2023年6月](https://abajournal.com/web/article/lawyers-who-doubled-down-and-defended-chatgpts-fake-cases-must-pay-5k-judge-says)
- [William H. Walters, Esther Isabelle Wilder「Fabrication and errors in the bibliographic citations generated by ChatGPT」Scientific Reports、2023年9月](https://doaj.org/article/fc88ea07ec994a7c8a144f8516c48cbf)

---

筆者

[佐藤伸明](https://nobusato.jp/ja/profile?hsLang=ja)Nobu Sato

日本市場の立ち上げを、人と仕組みから。組織・営業・技術組織の立ち上げについて、日本語・英語・中国語で書いています。

[プロフィール](https://nobusato.jp/ja/profile?hsLang=ja)[お問い合わせ](https://nobusato.jp/ja/contact?hsLang=ja)

## 次に読む

1. 01[AIで競合レポートを作る。数字は一つずつ原文まで戻す](https://nobusato.jp/ja/blog/ai-competitor-report-sources?hsLang=ja)約7分
   
   生成AI検索の回答で、引用に完全に裏づけられた文は平均51.5%だった。AIで競合を調べるなら、問いと定義、出典の格、URLと原文の位置と取得日、計算式、結論を分けた作業表で、数字ごとに原文の一文まで戻れるようにする。
2. 02[AIが書いた文章は、なぜ一目で分かるのか](https://nobusato.jp/ja/blog/why-ai-writing-is-easy-to-spot?hsLang=ja)約7分
   
   AIをよく使う5人の多数決は300本中1本しか誤らず、多くの検出ツールより正確だった。2024年の論文要旨で急増した454語のうち379語は文体の語。AI文体が均一になる理由と、日本語のAIらしさを整理する。
3. 03[転職の前に、自分を四層で見ておく](https://nobusato.jp/ja/blog/four-layer-self-portrait-before-changing-jobs?hsLang=ja)約4分
   
   エージェントから、年収二割増の案件の連絡が来た。履歴書を直す前に、過去三回の転職の本当の理由を並べて、自分の内核が何を求めているかを見る。六つの動機に優劣はなく、順位だけがある。繰り返し出てくる二つが、次の仕事が満たすべき条件だ。

[コラムの読み方：キャリア](https://nobusato.jp/ja/blog/guide-career?hsLang=ja) · [用語集](https://nobusato.jp/ja/blog/glossary?hsLang=ja) · [記事の土台：方法論](https://nobusato.jp/ja/blog/method?hsLang=ja)

[← 記事一覧へ](https://nobusato.jp/ja/blog?hsLang=ja)

## 日本市場での立ち上げについて、三言語で書いています。

[プロフィール](https://nobusato.jp/ja/profile?hsLang=ja) [お問い合わせ](https://nobusato.jp/ja/contact?hsLang=ja)

佐藤伸明 / Nobu Sato

日本市場での立ち上げについて、三言語で書いています。

[info@nobusato.jp](mailto:info@nobusato.jp) [note](https://note.com/nobusato5888)[X](https://x.com/nobusato5888)[Facebook](https://www.facebook.com/profile.php?id=61595570232740)[NewsPicks](https://newspicks.com/user/12904929/)[LinkedIn](https://www.linkedin.com/in/realnobusato/) [RSS](https://nobusato.jp/ja/blog/rss.xml?hsLang=ja)

[プロフィール](https://nobusato.jp/ja/profile?hsLang=ja)[方法論](https://nobusato.jp/ja/blog/method?hsLang=ja)[記事](https://nobusato.jp/ja/blog?hsLang=ja)[用語集](https://nobusato.jp/ja/blog/glossary?hsLang=ja)[お問い合わせ](https://nobusato.jp/ja/contact?hsLang=ja)

記事の内容は個人の見解で、所属する組織の立場を示すものではありません。

© 2026 佐藤伸明·[プライバシーポリシー・免責事項](https://nobusato.jp/ja/privacy?hsLang=ja)

```json
{
  "@context" : "https://schema.org",
  "@type" : "BreadcrumbList",
  "itemListElement" : [ {
    "@type" : "ListItem",
    "item" : "https://nobusato.jp/home",
    "name" : "ホーム",
    "position" : 1
  }, {
    "@type" : "ListItem",
    "item" : "https://nobusato.jp/ja/blog",
    "name" : "記事",
    "position" : 2
  }, {
    "@type" : "ListItem",
    "item" : "https://nobusato.jp/ja/blog/tag/キャリア",
    "name" : "キャリア",
    "position" : 3
  }, {
    "@type" : "ListItem",
    "item" : "https://nobusato.jp/ja/blog/check-ai-report-numbers",
    "name" : "AIが書いた報告書、出典のない数字を5分で見抜く",
    "position" : 4
  } ]
}
```

```json
{
  "@context" : "https://schema.org",
  "@id" : "https://nobusato.jp/ja/blog/check-ai-report-numbers",
  "@type" : "WebPage",
  "about" : {
    "@type" : "Thing",
    "name" : "キャリア"
  },
  "author" : {
    "@id" : "https://nobusato.jp/#person"
  },
  "description" : "年・単位・分母、数字の細かさ、前後の食い違いは原文を開かずに分かる。作られた出典と引用は原文を開いて初めて捕まる。架空判例のMata v. Avianca事件とデロイト・オーストラリアの報告書から、受け取る側の確認手順を組む。",
  "inLanguage" : "ja",
  "isPartOf" : {
    "@id" : "https://nobusato.jp/ja/blog",
    "@type" : "Blog",
    "name" : "記事"
  },
  "keywords" : "キャリア",
  "name" : "AIが書いた報告書、出典のない数字を5分で見抜く",
  "url" : "https://nobusato.jp/ja/blog/check-ai-report-numbers"
}
```

```json
{
  "@context" : "https://schema.org",
  "@id" : "https://nobusato.jp/#person",
  "@type" : "Person",
  "alternateName" : [ "佐藤伸明", "Nobu Sato", "左滕" ],
  "description" : "日本市場の立ち上げ（組織・営業・技術）",
  "knowsAbout" : [ "Japan market entry", "Organization design", "Talent acquisition", "Sales organization building", "Technology organization building", "Japanese labor law" ],
  "name" : "佐藤伸明",
  "sameAs" : [ "https://www.linkedin.com/in/realnobusato/", "https://x.com/nobusato5888" ],
  "url" : "https://nobusato.jp/ja/profile"
}
```

```json
{
  "@context" : "https://schema.org",
  "@type" : "BlogPosting",
  "author" : {
    "@type" : "Person",
    "name" : "Nobu Sato",
    "url" : "https://nobusato.jp/ja/blog/author/nobu-sato"
  },
  "dateModified" : "2026-11-04T17:39:21.768Z",
  "datePublished" : "2026-11-04T17:42:42.000Z",
  "headline" : "AIが書いた報告書、出典のない数字を5分で見抜く",
  "image" : [ "https://nobusato.jp/hubfs/covers-2026-11/check-ai-report-numbers-cover-ja-2026-10-m.png" ],
  "mainEntityOfPage" : {
    "@id" : "https://nobusato.jp/ja/blog/check-ai-report-numbers",
    "@type" : "WebPage"
  },
  "publisher" : {
    "@type" : "Organization",
    "logo" : {
      "@type" : "ImageObject",
      "url" : "https://nobusato.jp/hubfs/seo/logo-nobusato-2026-10.png"
    },
    "name" : "nobusato.jp"
  }
}
```