佐藤伸明 Nobu Sato

AIが書いた文章は、なぜ一目で分かるのか

語彙、型、そして中身

目次5
  1. 人はAIの文章を見抜けるのか
  2. 最初に表に出るのは語彙
  3. 日本語のAI文体には何があるか
  4. なぜそう書いてしまうのか
  5. 言葉を直しても、まだ分かる

AIが書いた文章は、ホテルの宴会のコース料理に似ている。どの皿もそつがなく、食べ終わると、どこで何を食べたか思い出せない。読む側もそれに気づいている。ChatGPTで日常的に文章を書く人を5人集めて記事を判定させると、多数決で300本中1本しか間違えなかったという研究がある。見抜かれること自体は、もう驚く話ではない。気になるのは、なぜAIの文章がそろって同じ顔になるのかのほうだ。

人はAIの文章を見抜けるのか

見抜ける。ただし、AIをよく使う人に限る。Jenna Russell、Marzena Karpinska、Mohit IyyerがACL 2025で発表した論文は、英語のノンフィクション記事300本を使った。一部は人が書き、一部はGPT-4o、Claude、o1が書いたものだ。執筆にLLMを日常的に使う5人がそれぞれ判定し、多数決をとると、誤りは300本中1本だった。

この5人の多数決は、市販やオープンソースのAI検出ツールの大半より正確だった。言い換えや「人間らしく」する加工を施した文章でも、精度は落ちなかったという。

手がかりは主に語彙である。論文はこれを「AI語彙」と呼んでいる。その先に、もう少し測りにくいものがある。堅すぎる、独自の中身がない、明快すぎる。

逆に、検出ツールのほうは人を誤って疑いやすい。スタンフォード大学のJames Zouらが2023年に学術誌『Patterns』で報告した研究では、よく使われる検出ツール7種に、人が書いたTOEFLの作文91本を判定させた。AIが書いたと誤判定された割合は平均61.22%。91本のうち89本は、少なくとも一つのツールにAI作と判定された。米国の中学2年生の作文は、ほぼ誤判定されなかった。

英語を母語としない人の文章は、語彙が平易で、構文が型どおりになりやすい。それがツールの見る「機械らしさ」とたまたま重なる。英語で丁寧にメールを書く日本人ほど、疑われやすい側に入るということになる。

最初に表に出るのは語彙

語彙については、かなり硬い数字がある。Dmitry Kobakらは、PubMedに収録された生物医学論文の要旨1,500万本以上(2010〜2024年)を調べ、2024年に急に増えた単語を洗い出した。2024年の要旨の少なくとも13.5%がLLMで処理されたと推定し、分野や国や雑誌で分けると、4割に達する部分集合もあった。論文は2025年に『Science Advances』に掲載された。

面白いのは、増えた単語の種類だ。それまでの年に急増した単語は、たいてい名詞で、その年の研究内容と結びついていた。コロナ禍のmasks(マスク)のように。2024年は違う。過剰に使われた454語のうち379語は文体の語で、その3分の2は動詞だった。delves(掘り下げる)は従来の傾向から見込まれる頻度の28.0倍、underscores(浮き彫りにする)は13.8倍、showcasing(示す)は10.7倍である。

2024年の論文要旨で急に増えた単語は、8割以上が文体の語だった

対象:PubMed収録の生物医学論文要旨1,500万本以上(2010〜2024年)。倍率=2024年の実際の頻度÷それまでの傾向から見込まれる頻度。出典:Kobakほか(2025)、Science Advances

過剰使用の倍率 比較的まれな語
  • delves掘り下げる
    28.0倍
  • underscores浮き彫りにする
    13.8倍
  • showcasing示す
    10.7倍
2024年に過剰使用された454語 語の性質別
  • 文体の語3分の2が動詞
    379語
  • 内容の語研究テーマに関わる語
    75語

朱色=文体の語。論文の中身とは関係がない

増えたのは言い回しで、言いたい中身は増えていない。

図1 Kobakらは1,500万本以上のPubMed要旨から、2024年の要旨の少なくとも13.5%がLLMで処理されたと推定した。同年に過剰使用された454語のうち379語が文体の語で、delvesの頻度は見込みの28.0倍だった。

中身は同じで、上に一層、塗装がかかっている。読み手が嗅ぎ取っているのは、その塗料の匂いだ。

日本語のAI文体には何があるか

英語にdelveがあるように、日本語にも定番がある。以下は研究の裏づけのない、私の観察である。

まず、です・ます調の丁寧さが均一すぎる。「〜と言えるでしょう」「〜することが求められます」が段落ごとに出てくる。断定を避ける語尾がこれだけ続くと、結局何を言いたいのかが見えなくなる。

次に、見出しと段落の型。「〜とは?」で始まり、「重要なのは〜」で要点を示し、最後に「まとめ」が来る。ひと昔前のまとめサイトの「いかがでしたか」の、行儀のよい子孫のようにも見える。

「〜ではなく〜」の言い換えも多い。わら人形を立ててから倒す型である。一本に一度なら誰も気にしないが、AIの文章では段落をまたいで何度も戻ってくる。

体言止めが続く。「変化への対応。組織の柔軟性。そして人材の育成。」テンポはよいが、主語も動詞も消えるので、誰が何をするのかが残らない。

どれも、人間でもやる。AIの文章が分かるのは、これが一度に、しかも均等に出てくるからだと思う。段落の長さがそろい、節の構成がそろい、同じ型から抜いたように並ぶ。

なぜそう書いてしまうのか

私の理解では、理由は二段ある。一段目は仕組みから素直に言えること、二段目には研究がある。

一段目。LLMがしているのは、次に来る確率の高い語を予測することだ。確率の高い語とは、皆が使う語である。確率の高い構成とは、作文の授業で習う構成である。皆の書き方を平均すると、誰にも似ていない書き手ができあがる。

二段目は、仕上げの訓練だ。公開前のモデルは、人のフィードバックによる強化学習(RLHF)で、人に好まれる応答に寄せられる。Robert KirkらがICLR 2024で発表した研究によれば、RLHFを経たモデルは、教師ありの微調整だけのモデルに比べて、出力の多様性がはっきり下がる。応答は安定し、互いに似てくる。

ここから先は推測になる。応答を評価する人は、構成が明快で最後にまとめのある答えに、高い点を付けやすいのではないか。その好みが何度も増幅されると、いつも「まとめ」で終わる文章になる。

言葉を直しても、まだ分かる

「重要なのは」を消しても、文章はやはりAIに見える。語彙は表面の一枚にすぎない。

本当に足りないのは具体だ。誰が、いつ、どの会社で、いくらで、が出てこない。書き手本人しか知らない細部がない。迷いもない。どの文も同じ強さで言い切っている。面接記録をAIで整理する話でも書いたが、AIの要約は滑らかすぎて、「私たちがやった」をいつのまにか「彼が主導した」に書き換える。文章でも同じことが起きている。

書く人にとって、AIが平らにしたのは表現の層である。値打ちが残るのは、自分で経験したことや、自分で計算して外したことのほうだ。AIのあと、どの層から値が下がるかで書いたのは人の能力の話だが、文章にもそのまま当てはまると思う。

簡単な試し方がある。自分の書いた一段落の会社名を、競合の名前に差し替えてみる。それでも意味が通るなら、その段落は誰にでも書ける。当然、AIにも書ける。


日本市場での立ち上げについて、三言語で書いています。