キャリア
AIが書いた文章は、なぜ一目で分かるのか
語彙、型、そして中身
佐藤伸明約7分
AIが書いた文章は、ホテルの宴会のコース料理に似ている。どの皿もそつがなく、食べ終わると、どこで何を食べたか思い出せない。読む側もそれに気づいている。ChatGPTで日常的に文章を書く人を5人集めて記事を判定させると、多数決で300本中1本しか間違えなかったという研究がある。見抜かれること自体は、もう驚く話ではない。気になるのは、なぜAIの文章がそろって同じ顔になるのかのほうだ。
人はAIの文章を見抜けるのか
見抜ける。ただし、AIをよく使う人に限る。Jenna Russell、Marzena Karpinska、Mohit IyyerがACL 2025で発表した論文は、英語のノンフィクション記事300本を使った。一部は人が書き、一部はGPT-4o、Claude、o1が書いたものだ。執筆にLLMを日常的に使う5人がそれぞれ判定し、多数決をとると、誤りは300本中1本だった。
この5人の多数決は、市販やオープンソースのAI検出ツールの大半より正確だった。言い換えや「人間らしく」する加工を施した文章でも、精度は落ちなかったという。
手がかりは主に語彙である。論文はこれを「AI語彙」と呼んでいる。その先に、もう少し測りにくいものがある。堅すぎる、独自の中身がない、明快すぎる。
逆に、検出ツールのほうは人を誤って疑いやすい。スタンフォード大学のJames Zouらが2023年に学術誌『Patterns』で報告した研究では、よく使われる検出ツール7種に、人が書いたTOEFLの作文91本を判定させた。AIが書いたと誤判定された割合は平均61.22%。91本のうち89本は、少なくとも一つのツールにAI作と判定された。米国の中学2年生の作文は、ほぼ誤判定されなかった。
英語を母語としない人の文章は、語彙が平易で、構文が型どおりになりやすい。それがツールの見る「機械らしさ」とたまたま重なる。英語で丁寧にメールを書く日本人ほど、疑われやすい側に入るということになる。
最初に表に出るのは語彙
語彙については、かなり硬い数字がある。Dmitry Kobakらは、PubMedに収録された生物医学論文の要旨1,500万本以上(2010〜2024年)を調べ、2024年に急に増えた単語を洗い出した。2024年の要旨の少なくとも13.5%がLLMで処理されたと推定し、分野や国や雑誌で分けると、4割に達する部分集合もあった。論文は2025年に『Science Advances』に掲載された。
面白いのは、増えた単語の種類だ。それまでの年に急増した単語は、たいてい名詞で、その年の研究内容と結びついていた。コロナ禍のmasks(マスク)のように。2024年は違う。過剰に使われた454語のうち379語は文体の語で、その3分の2は動詞だった。delves(掘り下げる)は従来の傾向から見込まれる頻度の28.0倍、underscores(浮き彫りにする)は13.8倍、showcasing(示す)は10.7倍である。
2024年の論文要旨で急に増えた単語は、8割以上が文体の語だった
対象:PubMed収録の生物医学論文要旨1,500万本以上(2010〜2024年)。倍率=2024年の実際の頻度÷それまでの傾向から見込まれる頻度。出典:Kobakほか(2025)、Science Advances
- delves掘り下げる28.0倍
- underscores浮き彫りにする13.8倍
- showcasing示す10.7倍
- 文体の語3分の2が動詞379語
- 内容の語研究テーマに関わる語75語
朱色=文体の語。論文の中身とは関係がない
増えたのは言い回しで、言いたい中身は増えていない。
中身は同じで、上に一層、塗装がかかっている。読み手が嗅ぎ取っているのは、その塗料の匂いだ。
日本語のAI文体には何があるか
英語にdelveがあるように、日本語にも定番がある。以下は研究の裏づけのない、私の観察である。
まず、です・ます調の丁寧さが均一すぎる。「〜と言えるでしょう」「〜することが求められます」が段落ごとに出てくる。断定を避ける語尾がこれだけ続くと、結局何を言いたいのかが見えなくなる。
次に、見出しと段落の型。「〜とは?」で始まり、「重要なのは〜」で要点を示し、最後に「まとめ」が来る。ひと昔前のまとめサイトの「いかがでしたか」の、行儀のよい子孫のようにも見える。
「〜ではなく〜」の言い換えも多い。わら人形を立ててから倒す型である。一本に一度なら誰も気にしないが、AIの文章では段落をまたいで何度も戻ってくる。
体言止めが続く。「変化への対応。組織の柔軟性。そして人材の育成。」テンポはよいが、主語も動詞も消えるので、誰が何をするのかが残らない。
どれも、人間でもやる。AIの文章が分かるのは、これが一度に、しかも均等に出てくるからだと思う。段落の長さがそろい、節の構成がそろい、同じ型から抜いたように並ぶ。
なぜそう書いてしまうのか
私の理解では、理由は二段ある。一段目は仕組みから素直に言えること、二段目には研究がある。
一段目。LLMがしているのは、次に来る確率の高い語を予測することだ。確率の高い語とは、皆が使う語である。確率の高い構成とは、作文の授業で習う構成である。皆の書き方を平均すると、誰にも似ていない書き手ができあがる。
二段目は、仕上げの訓練だ。公開前のモデルは、人のフィードバックによる強化学習(RLHF)で、人に好まれる応答に寄せられる。Robert KirkらがICLR 2024で発表した研究によれば、RLHFを経たモデルは、教師ありの微調整だけのモデルに比べて、出力の多様性がはっきり下がる。応答は安定し、互いに似てくる。
ここから先は推測になる。応答を評価する人は、構成が明快で最後にまとめのある答えに、高い点を付けやすいのではないか。その好みが何度も増幅されると、いつも「まとめ」で終わる文章になる。
言葉を直しても、まだ分かる
「重要なのは」を消しても、文章はやはりAIに見える。語彙は表面の一枚にすぎない。
本当に足りないのは具体だ。誰が、いつ、どの会社で、いくらで、が出てこない。書き手本人しか知らない細部がない。迷いもない。どの文も同じ強さで言い切っている。面接記録をAIで整理する話でも書いたが、AIの要約は滑らかすぎて、「私たちがやった」をいつのまにか「彼が主導した」に書き換える。文章でも同じことが起きている。
書く人にとって、AIが平らにしたのは表現の層である。値打ちが残るのは、自分で経験したことや、自分で計算して外したことのほうだ。AIのあと、どの層から値が下がるかで書いたのは人の能力の話だが、文章にもそのまま当てはまると思う。
簡単な試し方がある。自分の書いた一段落の会社名を、競合の名前に差し替えてみる。それでも意味が通るなら、その段落は誰にでも書ける。当然、AIにも書ける。
出典(2026年11月時点)
- Jenna Russell, Marzena Karpinska, Mohit Iyyer「People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text」ACL 2025
- Dmitry Kobak, Rita González-Márquez, Emőke-Ágnes Horvát, Jan Lause「Delving into LLM-assisted writing in biomedical publications through excess vocabulary」Science Advances 11巻27号 eadt3813、2025年7月
- Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou「GPT detectors are biased against non-native English writers」Patterns、2023年
- Robert Kirkほか「Understanding the Effects of RLHF on LLM Generalisation and Diversity」ICLR 2024