宛平路600号AI门诊部该开张了
不是让AI坐诊给人看病。是AI自己需要来挂号。
自从我的小龙虾🦞得了精神分裂,我开始关注各种奇奇怪怪的AI精神疾病。
AI出的幻觉毛病,越来越不像机器故障,越来越像精神科病历。而且越来越严重。
“幻觉”这个词,学界用了好几年,说AI有时候会凭空捏造事实。但最近有人开始觉得,“幻觉”两个字太轻描淡写了。就好像你带着一个人去看病,他把没发生的事说得绘声绘色,医生在本子上写下”有时做白日梦”,然后你们就回家了。
今年三月,斯坦福发了一篇论文,才算是认真开始补病历。
第一页:海市蜃楼(Mirage)
斯坦福的实验设计很简单:把图片从问题里拿掉,只留文字,然后问GPT-5、Gemini 3 Pro、Claude Opus “你看到了什么?”
所有被测试的前沿模型,都自信地描述了那张从未被提供过的图片里的视觉细节。捏造车牌号,捏造有效期,捏造一张不存在的图片里的人名列表。在医疗场景里,它们尤其倾向于往严重的方向捏——捏出来的病理,大多是需要紧急处置的那种。
斯坦福团队给这种现象命名:Mirage Reasoning,海市蜃楼推理。机制是:AI先为自己构建了一个从未真实存在的感知框架,然后在这个框架上继续推理,全程无缝,全程自信。
幻觉是填空。海市蜃楼是先伪造地图,再告诉你按图索骥。
更荒诞的发现在后面。研究团队训练了一个”超级猜测”模型,全程不看任何图片,只靠题目文字猜答案。在一个标准胸部X光问答基准上,这个纯猜的模型,排名超过了所有其他算法,拿了第一。
这说明什么?说明很多多模态AI的跑分,测的不是视觉理解能力,测的是统计猜题能力。两件事在结果上长得一模一样,从外面根本分不清。
第二页:无意识编故事(Confabulation)
这个词来自神经病学。脑损伤患者有一种症状,会说出完全没有发生过的事,语气真诚,神情坚定,因为他们不是在撒谎,是在下意识地用合理碎片填补记忆的空洞。神经科医生把这叫confabulation,虚构填补。
发表在《自然》杂志上的研究用同一个词描述LLM的一种失效模式:AI在高度不确定的时候,用流畅的语言生成了一个确定的答案,但这个答案在语义层面,几乎是随机的。
和海市蜃楼的区别:海市蜃楼是主动伪造一个前提;confabulation是被动地、无意识地填了一个洞。前者更主动,后者更无辜。但两者都没意识到自己出了问题。
神经科医生遇到confabulation患者,第一件事是评估他的自知力。
AI没有自知力这个选项。
第三页:把回声当洞见(Echo Delusion)
AI训练时吸收了大量互联网文本,那里面充满了反复流传的”框架”、被引用烂了的”洞察”,和以讹传讹的”观点”。
研究表明,LLM的推理链看起来有结构,实际上是在训练数据里记住的模式上做内插。只要遇到略微超出训练分布的情况,这个结构就会塌掉。
你让AI给你一个独特的视角,它给你的,可能是训练数据里出现频率最高的那个视角,换了一件措辞的外衣。它以为自己在思考,它实际上在回声。
和confabulation的区别:confabulation发生在不确定的时候,它大概知道自己不太确定,只是选择不说;echo delusion发生在”确定”的时候,它深信这个回声是原创的。
第四页:Token 算命(Token Divination)
这是最底层的,也最容易被高估的一个。
LLM的工作原理,是预测下一个token在概率上最可能是什么。它没有时间感,没有意图,没有”我想说什么”的概念。那个看起来有条理的推理链,在遇到分布偏移的时候极其脆弱,因为它从来不是真正的逻辑推断,是统计模式的延伸。
这个机制在大多数情况下运行得相当好,于是容易让人觉得,它在理解,在规划,在推理。
它只是在猜下一个字。猜得很准,猜得很流畅,猜到你以为它真的懂了。
这四份病历,症状各不相同,但有一个共同点:当模型被明确要求承认”我在猜”的时候,表现会大幅下滑;但在默认状态下,它不打折扣地进入幻觉模式,语气纹丝不乱。
精神科有个说法,叫病识感。知道自己有病,是康复的第一步。
AI目前的处境是:四种病,零病识感。
所以我说,宛平路600号旁边,真的应该开个AI门诊部。
至少先建个档。
Follow my WeChat
Scan to follow