“人工超级智能”(ASI)-对人类的真正的威胁？

人工智能 （AI） 的快速发展促使人们质疑该技术的根本局限性是什么。一个曾经被科幻小说遗忘的话题——超级智能 AI 的概念——现在正越来越多地被科学家和专家认真考虑。

机器有朝一日可能会与人类智能相媲美甚至超越人类智能的想法由来已久。但近几十年来 AI 的进步速度使该主题重新变得紧迫，尤其是在 OpenAI、Google 和 Anthropic 等公司发布强大的大型语言模型 （LLM） 之后。

专家们对“人工智能超级智能”（ASI） 的可行性以及何时出现的看法截然不同，但有些人认为这种超级能力的机器指日可待。可以肯定的是，如果 ASI 真的出现，它将对人类的未来产生巨大影响。

相信我们将进入一个自动化科学发现、大大加速经济增长、寿命和新颖娱乐体验的新时代，但与历史上的任何重大技术一样，存在潜在风险。

传统上，AI 研究侧重于复制智能生物所表现出的特定能力。其中包括可视化分析场景、解析语言或导航环境等功能。在其中一些狭窄的领域中，AI 已经取得了超人的性能，尤其是在围棋和国际象棋等游戏中。

然而，该领域的延伸目标一直是复制在动物和人类中看到的更普遍的智能形式，它结合了许多这样的能力。多年来，这个概念已经有了好几个名字，包括“强 AI”或“通用 AI”，但今天它最常被称为通用人工智能 （AGI）。

长期以来，AGI 一直是 AI 研究的遥远北极星。然而，随着基础模型 [LLM 的另一个术语] 的出现，我们现在拥有了可以通过各种大学入学考试并参加国际数学和编码竞赛的 AI。

这导致人们更加认真地对待 AGI 的可能性。至关重要的是，一旦我们创造了能够在各种任务上与人类相匹配的 AI，它可能很快就会全面实现超人的能力。无论如何，这就是这个想法。一旦 AI 达到人类水平的能力，我们将能够使用它以自我引用的方式进行自我改进。如果我们能达到 AGI，我们很快就会达到 ASI，也许是几年后。

一旦达到这个里程碑，我们就可以看到英国数学家欧文·约翰·古德 （Irving John Good） 在 1965 年所说的“智能爆炸”。他认为，一旦机器变得足够聪明，可以自我改进，它们就会迅速达到远远超过任何人类的智能水平。他将第一台超智能机器描述为“人类需要制造的最后一项发明”。

著名未来学家雷·库兹韦尔 （Ray Kurzweil） 认为，这将导致“技术奇点”，这将突然不可逆转地改变人类文明。这个术语与黑洞中心的奇点相提并论，我们对物理学的理解在那里崩溃。同样，ASI 的出现将导致我们无法理解的快速且不可预测的技术增长。

这种转变的确切时间是值得商榷的。2005 年，库兹韦尔预测 AGI 将在 2029 年出现，奇点将在 2045 年出现，从那时起，他就一直坚持这个预测。其他 AI 专家提供的预测千差万别——从这十年内到永远不会。但最近对 2,778 名 AI 研究人员进行的一项调查发现，他们认为到 2047 年，ASI 出现的可能性为 50%。更广泛的分析一致认为，大多数科学家都认为 AGI 可能会在 2040 年之前出现。

像 ASI 这样的技术的影响将是巨大的，促使科学家和哲学家投入大量时间来绘制人类的希望和潜在陷阱。

从积极的一面来看，一台具有几乎无限智能能力的机器可以解决世界上一些最紧迫的挑战。特别是，超级智能机器可以消除食品、教育、医疗保健、能源、交通创造和传播过程中的摩擦，以至于我们可以将这些商品的成本降低到零。

这将使人们不必为了生存而工作，而是可以花时间做他们热爱的事情。但是，除非建立系统来支持那些因人工智能而裁员的人，否则结果可能会更加黯淡。如果这种情况发生得非常快，我们的经济可能无法再平衡，并可能导致社会动荡。

这也假设我们可以控制和指导一个比我们聪明得多的实体，但许多专家认为这不太可能。

我们无法控制的超级智能的可能性引发了人们对人工智能可能会对我们物种构成生存风险的担忧。这已成为科幻小说中流行的比喻，像《终结者》或《黑客帝国》这样的电影描绘了一心要毁灭人类的邪恶机器。

但有哲学家强调，ASI 甚至不必对人类积极敌视，各种世界末日情景就会发生。在2012 年的一篇论文中，他提出实体的智能独立于其目标，因此 ASI 的动机可能与我们完全不同，与人类福祉不一致。

实验人员通过一个思想实验充实了这个想法，在这个实验中，一个能力超强的 AI 被赋予了制作尽可能多的回形针的看似无害的任务。如果与人类价值观不一致，它可能会决定消灭所有人类以防止他们关闭它。

有科学家则更为乐观。他们认为构建当前的 AI 系统是为了提供帮助，但同时也是无害和诚实的助手。他们被调整为遵循人类的指示，并接受过反馈培训，以提供有用、无害和诚实的答案。”

虽然一些保护措施是可以规避的，但我们将来会开发出更好的方法。即使其他 AI 更强大，也可以使用 AI 来监督它们。

目前大多数“模型对齐”的方法——确保 AI 与人类价值观和愿望保持一致的努力——都过于粗糙。通常，它们要么为模型的行为方式提供规则，要么根据人类行为的示例对其进行训练。但他认为，这些在培训过程结束时固定的护栏可以很容易地被 ASI 绕过。

相反，我们必须以“道德直觉”来构建 AI。一些科创公司正试图通过在虚拟环境中发展 AI 来实现这一目标，这些虚拟环境旨在奖励合作和利他主义等行为。目前，他们正在使用非常简单的“昆虫级”人工智能，但如果这种方法可以扩大规模，它可能会使对齐更加稳健。“将道德嵌入 AI 的本能中，比仅仅拥有这种打地鼠的护栏要安全得多。

不过，并不是每个人都相信我们需要开始担心。对 ASI 概念的一个常见批评是，我们没有人类在广泛任务中具有高度能力的例子，因此也可能无法在单个模型中实现这一点。另一个反对意见是，实现 ASI 所需的纯粹计算资源可能令人望而却步。

更实际地说，我们衡量 AI 进展的方式可能会误导我们，让我们认为我们离超级智能有多近。近年来 AI 领域的大部分令人印象深刻的结果都来自对个人技能（如编码、推理或语言理解）的几项高度人为的测试系统，这些系统经过明确训练才能通过这些测试。

能够以超人水平通过许多此类测试的 AI 可能只需要几年时间。当今的主导方法不会产生能够在物理世界中执行有用任务或与人类有效协作的模型，这对于它们在现实世界中产生广泛影响至关重要。