“AI教父”呼吁暂停“毕生的工作” 监管人工智能刻不容缓

　　参考消息网10月30日报道 据美国趣味科学网站10月1日报道，约舒亚·本乔是人工智能(AI)领域被引用次数最多的研究人员之一。作为开创人工神经网络和深度学习算法的先驱，本乔与元宇宙平台公司首席AI科学家扬·莱坎(中文名杨立昆)以及前谷歌AI研究员杰弗里·欣顿一道，因对该领域的重大贡献而获得了2018年图灵奖(该奖被誉为“计算机界的诺贝尔奖”)。

　　但现在，与其他图灵奖得主并称为AI“教父”的本乔对AI技术的发展和应用速度感到不安。他认为AI可能会破坏社会结构，并给人类带来意想不到的风险。如今他是《关于先进人工智能安全性的国际科学报告》——这是一个由30个国家以及欧盟、联合国支持的顾问小组——的负责人。

　　趣味科学网站通过视频通话的方式采访了本乔，他在伦敦的一场活动中探讨了机器产生意识的可能性和这项新兴技术的风险。以下是对他的采访摘要。

　　“若不确定，就慢下来”

　　趣味科学网站记者问：您在研发人工神经网络方面发挥了非常重要的作用，但现在您呼吁暂停这项技术的发展，并且正在研究如何对其进行监管。为什么您想暂停您毕生的工作？

　　约舒亚·本乔答：推翻自己的信仰是很难的，但如果理性地思考，我们就无法否认，当AI的发展达到某个水平时，可能会出现灾难性的后果。我转变立场的原因是，在那之前，我认为虽然会出现不好的情况，但我们有解决办法。

　　但想到我的孩子们和他们的未来，我决定必须采取不同的行动，尽我所能地减少风险。

　　问：您是否感到有责任减少(这项技术)最坏的影响？您为此感到重担在肩吗？

　　答：是的。我感到有责任，由于我的科学研究获得认可，我的声音有一定的影响力，所以我觉得自己需要发声。另一个原因是，要弄清楚如何避免AI的发展伤害人类，一些重要的技术解决方案是更大规模的政治解决方案的一部分。

　　企业会很乐意采用这些技术解决方案，但现在我们不知道该怎么做。它们仍然想通过推动AI达到人类水平来获取巨额利润——所以我们现在处境不佳，需要找到科学的答案。

　　我经常使用的一个比喻是，人类正在一条我们不太熟悉的道路上驾驶，前面有雾。我们正驶入那片雾，而我们可能在山路上，前面可能有一个非常危险的山口，但我们看不清楚。

　　那么我们该怎么办？是抱着平安的希望继续加速前进，还是尝试找到技术解决方案？政治解决方案认为，要有预防意识：如果不确定，就慢下来。技术解决方案认为，我们应该想办法看穿迷雾，比如给车辆配备安全措施。

　　对人类构成“两大风险”

　　问：那么，机器学习在短期和长期对人类构成的最大风险是什么？

　　答：人们总是说这些风险只存在于科幻小说，这是不对的。短期内，我们已经看到AI被用于美国选举活动，而且情况只会更糟。最近的一项研究表明，AI模型GPT-4比人类更擅长说服，新版本更甚。

　　还有测试表明，这些系统可能被恐怖分子利用。最近的AI模型o1已经将这种风险的程度从低等升为中等。

　　往远了说，一旦AI达到超级智能水平，就会出现两大风险。第一个是人类对其失去控制，如果超级智能机器的目标是自我保护，它们就可能摧毁人类，让我们无法将其关闭。如果第一种情况出于某种原因没有发生，第二种危险的局面是，人类使用AI在全球实行独裁。不一定是全面独裁，可能是某种程度的独裁，但这项技术将给控制它的人带来巨大的力量。

　　问：欧盟已经发布了AI法案，拜登也发布了关于AI的行政令。政府对这些风险反应如何？其反应是否正确，还是偏离了目标？

　　答：我认为它们的方向是正确的。例如，拜登的行政令已经是白宫当时能采取的最大力度的措施了，但影响力不够，它不强制企业分享测试结果，甚至不强制它们进行这些测试。

　　我们需要取消自愿原则，企业必须制订安全计划，公布测试结果。如果它们不遵循最新规定保护公众，就会被起诉。我认为这是目前立法方面最好的建议。

　　问：当下，神经网络的很多应用令人印象深刻，但仍然存在问题：无监督学习表现不佳，也不适应在训练数据中很少出现的场景——而且它们需要大量训练数据。当然，和自动驾驶汽车一样，这些缺陷也带来了另外的风险，对吗？

　　答：首先，我想纠正你在这个问题中的一个说法：神经网络在无监督学习方面表现很好，它们基本就是以这种方式训练的。它们以无监督的方式训练——读取并试图理解你给它们的所有数据，这就是无监督学习。这种方式被称为预训练：在给它们分配任务之前，你就让它们尽可能地理解所有数据。

　　至于它们需要多少数据，是的，它们需要的数据比人类多得多，但有观点认为，人类进化出现在的大脑需要的数据比那还要多。所以很难进行比较。

　　我认为在它们需要多少数据方面还有改进的空间。从政策的角度来看，重要的是我们已经取得了巨大进步，它们的能力和人类智能之间仍然存在巨大差距，但不清楚我们离弥合差距还有多远。政策应该为最快的可能性做准备——未来五年左右。

　　问：关于数据问题，GPT模型如果读取足够多自己的内容就会崩溃。我们已经讨论了AI变得超级智能然后不可控的风险，但是会不会有一个更荒诞的反乌托邦可能性——我们变得依赖AI，它剥夺行业工作，(社会)退化和崩溃，留下我们收拾残局？

　　答：我倒不担心它们产生的数据会导致崩溃的问题。如果你选择(给系统投喂)合成数据，并且方法得当，是以一种人们理解的方式，你不会让这些系统生成数据然后用这些数据训练系统——从机器学习的角度来看，这是没有意义的。

　　有了合成数据，你可以让它自我博弈。它生成的合成数据帮助它做出更好的决策。所以我对此并不担心。

　　然而，我们造出的机器也可能产生意想不到的副作用。一旦我们依赖它们，就很难拔掉插头，我们甚至可能对它们失去控制。如果这些机器无处不在，控制了社会的很多方面，又居心不良……

　　这些系统有欺骗能力。有很多未知数可能造成非常严重的后果。所以我们需要小心。

　　市场不应成“唯一力量”

　　问：一些AI研究人员对机器实现通用人工智能(AGI)的危险表示担忧——这是AI领域一个有争议的流行词。然而，托马斯·迪特里奇等人认为，这个概念是不科学的，人们不该使用这个词。在这场辩论中，您的观点是什么？

　　答：我认为谈论某些领域的能力是相当科学的。这就是我们的工作，我们制定基准并评估特定的能力。

　　但我认为“通用智能意味着什么”这个问题是错误的。我的问题是：对于足够智能、具有特定能力的机器，什么可能使它们对我们构成危险？它们可能被用于网络攻击吗？设计生物武器？说服人们？它们能违背开发者的意愿在其他机器或互联网上自我复制吗？

　　这些都是不好的情况。这些AI拥有这些能力的子集，这已经非常危险了。这一点很明确，人们已经开始为这些能力建立基准，因为我们不希望机器拥有它们。英国和美国的AI安全研究机构正在从事这些工作，并且正在测试模型。

　　问：回到我们之前提到过的问题：您对科学家和政治家在解决风险方面的工作满意吗？您对他们和您采取的行动感到满意吗，还是说我们仍然走在一条非常危险的道路上？

　　答：我认为我们在减轻风险方面做得还不够。现在已经有很多全球对话，很多立法提案，联合国也开始考虑相关国际条约——但我们需要走得更远。

　　在提高意识和更好地理解风险方面，我们已经取得了很多进展，政治家们也在考虑立法，但我们还没有达到目标。我们还没有能力完全避免灾难性风险。

　　过去六个月，社会上也出现了反对监管的力量。少数有钱有权的人群不希望公众对他们使用AI的情况进行监督，他们有自己的游说团体。

　　建造这些机器、期望从中牟利并相互竞争的人与公众之间存在利益冲突。我们需要像管理烟草那样管理这个冲突(作为反例，我们对化石燃料管理不善)。我们不能让市场的力量成为推动AI发展的唯一力量。（编译/熊文苑）