AI“规模定律”失效了吗？

　　参考消息网12月18日报道 据美国《时代》周刊网站11月21日报道，过去十多年，公司们一直押注于一条诱人的法则：只要找到方法继续扩大人工智能(AI)系统，它们就会变得越来越聪明。这不仅仅是美好的幻想。注意到这一趋势的开放人工智能研究中心(OpenAI)在2020年提出的“规模定律”一词现已成为行业标准。这一理论促使AI公司在越来越大的计算集群和数据集上押注数亿美元。这场赌博得到了丰厚回报，将粗糙的文本机器变成了能说会道的聊天机器人。

　　但现在，这种“越大越好”的信条遭到了质疑。

　　最近，路透社和彭博社报道称，领先的AI公司扩大AI系统的收益出现了递减。几天前，美国《信息》杂志报道，OpenAI尚未发布的“猎户座”模型(Orion)在内部测试中表现不及预期，公司对继续推进这一技术产生了疑虑。硅谷著名风险投资公司安德烈森-霍罗威茨的联合创始人也指出，增加算力再也无法带来相同的“智能提升”。

　　尽管如此，许多领先的AI公司似乎信心十足地认为技术正在飞速进步。广受欢迎的聊天机器人“克劳德”(Claude)的开发商Anthropic公司的发言人在一份声明中表示：“我们没有看到任何偏离规模定律的迹象。”OpenAI拒绝置评。谷歌旗下“深层思维”公司(DeepMind)没有回应置评请求。上周，谷歌的“双子座”(Gemini)模型一个新的实验版本在AI性能排行榜上取代了OpenAI的GPT-4o，谷歌首席执行官孙达尔·皮柴在社交平台X上发帖说“敬请期待”。

　　最近的发布会则体现了更加复杂的局面。Anthropic自今年3月发布中型模型“十四行诗”(Sonnet)以来，已经对其进行了两次更新，使之比该公司最大的模型“奥普斯”(Opus)能力更强，后者尚未得到这样的更新。今年6月，Anthropic表示Opus将在“今年晚些时候”更新，但上周，该公司联合创始人兼首席执行官达里奥·阿莫代伊在莱克斯·弗里德曼的播客节目上没有给出具体时间。谷歌在今年2月更新了其较小的Gemini Pro模型，但尚未更新较大的Gemini Ultra模型。OpenAI最近发布的o1-preview模型在几个基准测试中超过了GPT-4o，但在其他方面不如后者。据报道，o1-preview在内部被称为“具备推理能力的GPT-4o”，这表明其底层模型的规模与GPT-4相似。

　　由于各方面的利益竞争，真相难以捉摸。阿莫代伊上周说，如果Anthropic不能生产更强大的模型，“我们作为一个公司就彻底失败了”，这揭露了那些将未来押注在永远进步的AI公司上所面临的风险。进步放缓可能会吓到投资者，引发经济清算。与此同时，OpenAI前首席科学家、曾经坚定支持规模定律的伊利亚·苏茨克韦尔现在表示，更大模型的性能提升已经进入瓶颈期。但他的立场也有偏颇之处：苏茨克韦尔新成立的AI初创公司安全超级智能公司于今年6月成立，资金和算力都比不上竞争对手。规模假设的失效将帮助营造公平的竞争环境。

　　AI领域知名人物、《驯服硅谷》等书籍的作者加里·马库斯说：“他们认为存在某些数学定律，他们根据这些数学定律做出预测，但系统没有达到预期。”他说，最近的收益递减现象表明，我们终于“遇到了瓶颈”——这是他自2022年以来就警告可能发生的事情。他说：“我当时不知道具体什么时候会遇到瓶颈，我们确实取得了一些进展。但现在我们似乎被卡住了。”

　　马库斯说，进步放缓可能体现了当下深度学习技术的局限性，或者简单来说，“没有足够多的新数据了”。一些密切关注AI动态的人士支持这一观点。美国抱抱脸公司的AI和气候部门负责人萨莎·卢乔尼说，从文本和图像中获取的信息是有限的。她指出，短信沟通比面对面沟通更有可能产生误解，这说明了文本数据的局限性。她说：“我认为语言模型也是一样。”

　　研究AI发展的非营利组织人工智能时代研究所的高级研究员埃格·埃尔迪尔说，推理和数学等领域尤其缺乏数据，我们“真的没有那么多高质量数据”。这并不意味着规模扩张可能会停止，只是说仅靠规模扩张是不够的。他说：“在每一个数量级规模的扩张中，都需要找到不同的创新。”他指出，这并不意味着AI进步总体上会放缓。

　　这不是批评者第一次宣称规模定律失效。阿莫代伊上周说：“规模扩张的每个阶段都会引发争议。我们遇到的最新争议是，数据即将耗尽，或者数据质量不够高，或者模型不具备推理能力……我见的够多了，因此相信规模扩张可能会继续下去。”OpenAI首席执行官萨姆·奥尔特曼在Y-Combinator播客节目上回顾公司创立初期的日子时，认为公司取得成功的部分原因在于对规模扩张的“近乎宗教般的信仰”——当时这个概念被视为“异端”。马库斯最近在社交平台X上发帖称自己对收益递减的预测是正确的，奥尔特曼对此回应说：“不存在瓶颈。”

　　人工智能时代研究所主任热姆·塞维利亚说，我们不断听到新模型未能达到内部预期的消息，这背后可能还有另一个原因。在与OpenAI和Anthropic的人交谈后，他的感觉是，人们的期望太高。他说：“他们期望AI已经能够写博士论文。这么说可能有点扫兴。”

　　塞维利亚说，暂时的低迷并不一定预示着更广泛的放缓。历史表明，重大技术突破的相距时间较长：19个月前发布的GPT-4是在GPT-3发布33个月之后诞生的。塞维利亚说：“我们容易忘记GPT-3到GPT-4在算力规模上存在100倍的差距。要想达到比GPT-4厉害100倍的效果，就需要高达一百万个图形处理器(GPU)。”这比目前已知的任何GPU集群都要大。不过他指出，今年已经启动了建设AI基础设施的协同项目，比如埃隆·马斯克在孟菲斯的10万个GPU超级计算机——最大的此类计算机——据称仅用三个月就建成了。

　　在此期间，AI公司可能会探索在训练模型后提高性能的其他方法。OpenAI的最新大模型曾被视为典范：在获得更多的思考时间后，它在推理能力上超越了以前的模型。塞维利亚说：“这是我们已经知道可能发生的事情。”他指的是人工智能时代研究所在2023年7月发布的一份报告。

　　过早断言AI技术进步放缓可能不仅会对硅谷和华尔街产生影响。GPT-4发布后，人们感受到了技术的快速进步，因此写了一封公开信呼吁暂停训练更大的系统六个月，让研究人员和政府有机会追赶进度。这封信获得了3万多个签名，包括马斯克和图灵奖获得者约舒亚·本乔。同理，人们感知到技术进步放缓后是否会采取相反的行动，导致AI安全问题从议程中消失，这一点尚无定论。

　　美国大部分AI政策是基于AI系统将继续扩张这一前提。拜登在2023年10月签署的关于AI的全面行政命令中的一项规定(预计将被特朗普废除)要求AI开发者在使用超过一定阈值的计算能力训练模型时必须向政府告知相关信息。这个阈值高于当时最大模型，其假设的前提是，未来的模型会更大。旨在限制其他国家获得构建大型AI模型所需的强大半导体的出口管制(对某些国家的AI芯片和技术销售的限制)也是基于同样的假设。然而，如果AI发展中的突破开始更多地依赖算力之外的因素，如更好的算法或特殊技术，那么这些限制对于阻拦其他国家AI进步具有较小的影响。

　　美国卡内基国际和平研究院技术与国际事务项目访问学者斯科特·辛格说：“美国首先需要认识到的一点是，在某种程度上，出口管制是建立在技术时间线理论上的。”他说，如果美国“在前沿领域停滞不前”，其他国家可能出手推动AI的技术突破；如果美国在AI领域的领先地位下滑，可能会更愿意与其他国家就安全原则进行谈判。（编译/熊文苑）