左滕 Nobu Sato

AI写的文章,为什么一眼就能认出来

词、套路,和缺掉的细节

目录5
  1. 人真的认得出来吗
  2. 最先露馅的是词
  3. 中文的 AI 腔长什么样
  4. 它为什么会写成这样
  5. 改词没用,缺的是具体

一篇稿子,第一句是「在当今快速变化的时代」,第二段开头「值得注意的是」,最后一段「总的来说」。你没读完就知道是谁写的了。这种直觉其实有研究撑着:经常用 ChatGPT 写东西的人,判断一篇文章是不是 AI 写的,五个人投票,300 篇只错了 1 篇。认出来不难。难的是弄明白它为什么长成这样,以及自己写的时候怎么躲开。

人真的认得出来吗

认得出来,但得是常用 AI 的人。Jenna Russell、Marzena Karpinska 和 Mohit Iyyer 在 ACL 2025 上发了一篇论文,拿 300 篇英文非虚构文章做测试,一部分人写,一部分用 GPT-4o、Claude、o1 生成。找来五个平时经常用大模型写东西的人,各自判断,再按多数票算。300 篇里只判错 1 篇。

这五个人的多数票,比大多数商用和开源的 AI 检测工具都准。文章被改写过、被所谓「人性化」处理过,也一样。

他们靠什么认?论文说,主要靠词,作者管这叫「AI 词汇」。再往上,是更难量化的东西:太正式,没有原创的东西,清楚得过了头。

反过来,检测工具倒容易冤枉人。斯坦福大学 James Zou 团队 2023 年在《Patterns》上发过一篇:7 个常用的检测工具,测 91 篇真人写的托福作文,平均有 61.22% 被判成 AI 写的。91 篇里 89 篇至少被一个工具判成 AI。美国八年级学生的作文,几乎没被误判。

原因不复杂。母语不是英语的人,用词更常见、句式更规整,正好撞上检测工具认定的「机器特征」。中国人、日本人写的英文被判成 AI,很可能跟用没用 AI 无关,只是写得太规矩。拿检测工具去筛外籍员工或候选人的英文材料,我估计最先被冤枉的,就是这些认真写的人。

最先露馅的是词

词这一层,有一个很硬的数字。Dmitry Kobak 等人分析了 PubMed 收录的 1,500 多万篇生物医学论文摘要(2010 到 2024 年),看哪些词在 2024 年突然多出来。他们估计,2024 年的摘要里至少 13.5% 经过大模型处理,按学科、国家和期刊分开看,有的子集到了四成。论文 2025 年发在《Science Advances》上。

多出来的词很有意思。以前每年突然冒出来的词,大多是名词,跟当年的内容有关,比如疫情期间的 masks(口罩)。2024 年不一样,454 个超额词里 379 个是文风词,三分之二是动词。delves(深入探讨)的出现频率是按此前趋势推算的 28.0 倍,underscores(凸显)13.8 倍,showcasing(展示)10.7 倍。

2024 年论文摘要里突然多出来的词,八成多是文风词

口径:PubMed 收录的 1,500 多万篇生物医学论文摘要(2010–2024 年)。倍数=2024 年实际频率 ÷ 按此前趋势推算的预期频率。出处:Kobak 等(2025),《Science Advances》

超额倍数 较少见的词
  • delves深入探讨
    28.0倍
  • underscores凸显
    13.8倍
  • showcasing展示
    10.7倍
2024 年的 454 个超额词 按词的性质分
  • 文风词动词占三分之二
    379个
  • 内容词与研究主题有关
    75个

朱红=文风词,跟论文写的是什么无关

多出来的是腔调,要说的内容并没有变多。

图1 Kobak 等分析 1,500 多万篇 PubMed 摘要后估计,2024 年至少 13.5% 的摘要经过大模型处理;当年 454 个超额使用的词里 379 个是文风词,delves 的频率是预期的 28.0 倍。

中文的 AI 腔长什么样

英文有 delve,中文也有自己的一套。下面几种最常见,没有研究统计,算个人观察。

开头先铺背景。「在数字化转型的浪潮下」「随着……的不断发展」。读者要的是事,它先念一段背景。

过渡词当拐杖用。「值得注意的是」「总的来说」「由此可见」。真正的转折一句话就够,它每段都要垫一下。

句式对仗、排比、四字词叠在一起。「降本增效、提质赋能」。说一遍听着有气势,第二段还这么写,就像在念口号。

每段最后一句是金句。段落本来在讲事,最后硬要拔高一下。

还有那个最典型的翻转句:「不是 X,而是 Y」。先竖个靶子再打倒,一篇用一次是修辞,用五次就是模板。

这些毛病里,任何一个单拿出来,人也会犯。AI 的问题是它们同时出现,而且出现得很均匀。每段长度差不多,每节结构一样,像是同一个模具倒出来的。

它为什么会写成这样

我的理解是两层原因,前一层是常识,后一层有研究。

第一层,大模型做的事,本质上是预测下一个最可能出现的词。最可能的词,就是大家都用的词。最可能的结构,就是写作课上教的那种结构。把所有人的写法平均一下,得到的就是一个谁都不像的人。

第二层是训练后期的调教。模型上线前,要经过人类反馈强化学习(RLHF),让它的回答更符合人的偏好。Robert Kirk 等人 2024 年在 ICLR 上发表的研究发现,经过 RLHF 的模型,输出的多样性比只做监督微调的模型明显下降。回答更稳了,也更像彼此了。

再往下是我的猜测。给回答打分的人,大概更容易给结构清楚、观点平衡、有总结的回答打高分。这种偏好被一轮轮放大,最后就是你看到的那个永远在「总的来说」的写法。

改词没用,缺的是具体

把「值得注意的是」删掉,文章还是一眼能认出来。词只是最表层的那一下。

真正露馅的,是没有具体的东西。没有哪个人、哪一年、哪家公司、多少钱。没有一个只有作者本人才知道的细节。也没有犹豫,每句话都一样笃定。用 AI 整理面试记录那篇里说过,AI 摘要的毛病是写得太顺,把「我们做了」顺手写成「他主导了」。写文章也是这个毛病。

所以对写东西的人来说,AI 拉平的是表达这一层。还值钱的,是你自己算过的数,和你自己看错过的事。AI 之后,哪一层先贬值那篇讲的是人的能力,放到写作上也成立。

老板收到一份市场分析,也可以这么看:里面有没有一个数是写的人自己算出来的,有没有一句话是他亲眼见过才写得出的。两样都没有,这份东西就只值 AI 的价钱。


用三种语言,写在日本落地这件事。