科技

刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」

来源:搜狐新闻
刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」

新智元报道

【新智元导读】有人惊奇地发现,Claude在学习预测下一个token时,自己长出了一个像人脑「意识」的结构。这个发现源自Anthropic开源的J-Lens工具,它首次让人们看到了AI内心深处的思考过程。

让Claude抄写句子时,同时在脑中计算3²−2。屏幕上清清楚楚写着抄写的文字,却找不到关于计算结果的任何痕迹。直到研究者用J-Lens这个独特的工具切开Claude的神经网络中间层,一个惊人的发现浮出水面——

最初检测到的是nine(九),经过几层计算后,这个数字竟悄然变成了seven(七)。它在计算,只是选择不对外人说。

就在近日,Anthropic发布了一篇让人大开眼界的长论文。Claude的大脑里,居然凭空长出了一个类似人脑意识区的奇特结构。这个系统原本只是用来预测下一个token,却自主催生出类似意识的器官,而这一切都未经人为设计。

一张意想不到的「工作台」

Anthropic开发的J-Lens(雅可比透镜)就像一把精密的手术刀,能够揭示Claude的思考过程。它针对词表里的每个词,计算出一个特定的方向。增强某个方向,会让模型更有可能说出这个词。当把这些方向铺展开时,就能看到Claude目前脑海中潜伏着哪些词汇,哪些词汇只有在特定情境下才会被激活。最初发现的nine和seven,就是通过这种方式读取到的。

研究者将这些「可被言语化的方向」称为J-space。在任意时刻,这个空间大约容纳25个活跃概念,这就是Claude当下正在思考的全部内容。

人脑同时进行着成百上千的活动:维持姿势、调节呼吸、识别文字、压抑冲动等等。但此刻你能说出口、清晰思考的,只是一小部分。神经科学家将这一小部分可被意识访问的认知称为「全局工作空间」。而J-space,就是Claude的全局工作空间。

为了验证这一点,Anthropic用脑全局工作空间的五个公认特征,逐一进行了测试:

第一,J-space的内容可以被报告。让Claude思考一个运动项目,J-space中Soccer(足球)亮起,它便说出Soccer;当方向切换到Rugby(橄榄球)时,它的回答也随之改变。改变J-space中的表征,就能改变它的言语输出。

第二,J-space的内容可以被意志力调动。让Claude一边抄写句子,一边思考柑橘类水果。抄到crookedly(歪歪扭扭地)这个词时,J-space中突然出现orange(橙子)、lemon(柠檬),这些与正在抄写的文字毫不相干。

第三,J-space能在推理中充当中介。问它「织网的动物有几条腿」,模型需要先想到「蜘蛛」,然后才回答8。J-space中确实先出现了spider(蜘蛛),这个词既不在问题中也不在答案里。将spider换成ant(蚂蚁),答案立刻从8变成6。

更令人惊讶的是它的多语言处理能力。用中文问「小的反义词」,答案是「大」。但J-space中出现的却是英文big(大)、bigger(更大)。当将英文方向换成long(长),中文答案就从「大」变成「长」。也就是说,它在用英文进行推理,然后才翻译回中文。

第四,J-space可以灵活复用。将France(法国)这个方向换成China(中国),无论问首都、语言、大洲还是货币,答案都会随之改变。一次干预,四路响应。J-space不像档案柜,更像是共享广播站,一个概念被写入,所有下游计算都能读取到它。

第五,J-space具有选择性。删除它,推理能力归零,但说话功能依然正常。这是整篇论文中最有力的证据:J-space只服务于需要主动思考的任务,不参与那些自动就能完成的操作。例如同一段西班牙语,当要求模型续写下一句或检测是否混入外语时,这些属于自动任务;而当要求模型判断这段话是什么语言,以及这种语言中如何说你好时,就需要用到「这段话是西班牙语」这个概念。

研究者

相关推荐