Sam Altman: 在风暴中心引领AI革命——动荡与技术未来的对话 | 最新2万字长访（附视频） 首批5000套，附10枚手工盖章，订制藏书票，仅首批限量编码15000号...

Sam Altman: 在风暴中心引领AI革命——动荡与技术未来的对话 | 最新2万字长访（附视频） 首批5000套，附10枚手工盖章，订制藏书票，仅首批限量编码15000号...， 

Sam Altman: 在风暴中心引领AI革命——动荡与技术未来的对话 | 最新2万字长访（附视频）

未经许可不得转载，务必保留原文出处链接和公众号按钮

（关注本城公众号并设为星标，

第一时间获取最新顶级商业科技认知）

文：Web3天空之城 · 城主

一段时间不见，OpenAI的首席执行官Sam Altman出来面对面访谈了。在Greg休原创自主品牌，Ilya新公司成立，OpenAI持续亏损和新融资消息传出的现在，正当时。

这次访谈还是著名主持人崔娃Trevor主持的，有点意外的是Trevor对AI科技有挺深入的理解，比95%的非技术主持人都要强。

在这次访谈中，Trevor和Sam展开了一场广泛的对话，探讨了人工智能，OpenAI以及Sam个人的职业生涯和心路历程。Sam从他的重返OpenAI事件切入，分享了自己如何在一系列混乱和不确定中反思个人与公司使命的关系，并且谈到了AGI的未来发展方向。

Sam 不仅详细阐述了AGI在认知、生产力和社会效应上的巨大潜力，还针对性地回应了AI安全性、伦理问题、资本主义的权衡与技术革命的挑战。同时，他坦诚讨论了自己对OpenAI公司治理的思考，如何平衡技术进步与社会责任，并强调了透明性与民主化技术治理的重要性。

B站传送：OpenAI CEO Sam Altman最新九月访谈@崔娃Trevor 2024.9.5 【中英字幕】-哔哩哔哩】

https://b23.tv/MEr0Xna

重新掌舵OpenAI的历程：Sam Altman回顾了他短暂的离职经历，并分享了如何在这段动荡中重新认识自己对OpenAI及其使命的热爱。尽管他短暂被解雇，他强调自己从中汲取了深刻的经验，并深感继续推进AGI发展的重要性。

AGI的未来与技术革命：Sam Altman坚信AGI将带来前所未有的技术革命，尽管社会和经济的变化可能不会如预期迅速。他认为，尽管技术将越来越接近AGI，但其对社会的实际影响将是渐进的，允许社会逐步适应新科技所带来的变化。

资本主义与AI的平衡：访谈中，Sam Altman详细讨论了OpenAI如何在资本主义体制下运行，同时保持其创建时的初衷，即确保AGI的利益广泛分配。尽管OpenAI需要在资本主义中竞争以获得发展所需的资源，他强调，技术进步不应以牺牲伦理与社会责任为代价。

AI的民主治理与社会影响：Sam Altman提出了一个重要观点，即AI技术治理应更加民主化。他相信，公众应更多参与决定AI系统的使用方式和规则设定，并强调了技术透明性和多样化治理的重要性。

对AI安全性和伦理的担忧：访谈中，Sam Altman坦言，尽管AI有着巨大的潜力，但也有很多潜在的安全隐患。他特别指出了AI在计算机安全、合成生物学等方面的风险，并呼吁社会应当以负责任的方式推进技术发展。

关于人工智能的更广泛愿景：Sam Altman对未来充满了乐观。他认为，随着AGI的成熟，每个人都将拥有更多机会去追求个人兴趣，并且技术将极大改善全球教育和医疗水平。尽管技术革新将带来工作和社会模式的改变，他认为，最终人类精神和创造力将推动我们进入一个更繁荣的未来。

-=Web3天空之城书面全文版=-

Trevor：

谢谢你抽时间接受采访。

Sam:谢谢。

Trevor：你不觉得现在是一个疯狂的时间吗？

Sam：感觉是我所经历的最疯狂的时刻。

Trevor：

是啊，你处在这一切的中心。我想知道那种感觉是什么样的。因为我只是这个领域和这个世界的一名狂热观察者，你知道吗？我感觉你是受到这一切影响的人。我指的是，Sam Altman进入了《时代》杂志年度人物的候选名单。

Sam：很高兴没有得到那个。

Trevor：很高兴没得到？

Sam：是的，当然。

Trevor：为什么？

Sam：今年我已经比我整个生命中都得到更多的关注了。

Trevor：好吧，好吧。所以你不喜欢关注？你不想要关注？

Sam：

不，这太残酷了。在某些方面这很有趣。在某些方面这很有用。但对个人生活而言，生活质量的权衡上。是啊，绝对不喜欢。但这就是现在的情况了。这是我签约的内容。

Trevor：对，现在是恶名昭著的时候了。

Sam：是的。

Trevor：人们在街上会认出你吗？

Sam：这是一个非常糟糕的权衡。是的，我觉得你永远… 我肯定你也会遇到这种情况，但我再也无法保持匿名了。

Trevor：是的，但是人们不会问我关于未来的问题。

Sam：他们不会问你是否会毁灭世界。没错。有一点点区别。人们可能会想跟我合影。这就是它的程度了。很多合影。

Trevor：好吧，恭喜你。你是《时代》杂志的年度CEO。

Sam：是的。

Trevor：

这可能是最奇怪的时刻之一，因为我猜是在《时代》杂志做出这个决定的时候。几周前，你可能还不是年度CEO。我不知道他们是否还能给你这个奖。我猜这是为了你之前的工作。

Sam：是的，我不知道。我不知道这是怎么运作的。

Trevor：重新担任CEO的感觉如何？

Sam：

我仍然在重编现实，老实说。从某种意义上说，这感觉很棒，因为在整个过程中，我学到了很多关于我有多爱这家公司、使命和员工的东西。而且，在整个过程中，我经历了几次，短时间内体验了全部的人类情感。但对我来说，一个非常清晰的时刻是，这一切都发生在星期五的下午，星期五中午。第二天早上，星期六，几位董事会成员打电话给我，询问是否愿意讨论回归的问题。

对此，我的感受非常复杂。但最终，我非常清晰地意识到，我愿意回归。

我真的很爱这个地方和我们正在做的事情。我认为这对世界很重要，这也是我最关心的事情。

Trevor：

在科技领域，招聘和解雇是每个人都必须习惯的事情。

我知道在过去，你曾在Y Combinator被解雇。每个人在这种情况下都有一个故事。

Sam：我不想说这个。

Trevor：告诉我，告诉我。这些事情，你做研究，然后从那里开始。

Sam：

我大约在（离开YC）一年前就决定我想来OpenAI。

那是一个复杂的过渡过程。但我一直在同时做OpenAI和YC的工作，而且非常确定我想来OpenAI。我从没后悔过这一点。

Trevor：那么你从来没有被解雇过。作为一个人，这是一种艰难的处境。

Sam：这算解雇吗？

Trevor：如果你被解雇后立刻又被重新聘用呢？

Sam：我本来要说的不仅仅是……这实在是残酷……我猜我现在不应该谈论这个。

这是一件非常痛苦的事情。对我个人来说，作为一个人，这感觉非常不公平，处理方式真的很不公。

Trevor：

我可以想象。很多人会谈论被解雇。

在疫情期间，这变成了一种趋势，尤其是人们会谈论收到一封邮件或一段群发的视频，然后就有成千上万的员工被解雇。

你很少想到这会发生在公司的CEO身上。更甚者，你不会想到这会发生在被许多人称为这一代和未来的“史蒂夫·乔布斯”的CEO身上。

顺便说一句，你不会这么称呼自己。

Sam：当然不会。

Trevor：

很多人是这么评价你的，但我觉得称你为这代人的斯蒂夫·乔布斯是不公平的。在我看来，你是这代人的普罗米修斯。你真的就是。

在我看来，你高端佛从神那里盗取了火焰。你处于这一变革的前沿，我们现在所经历的时代，AI曾是科幻和传奇中的东西，而你现在是可能永远改变文明的前沿代表。

你认为未来会全面改变吗？

Sam：

我认为会。

我完全有可能对我接下来要说的内容理解错误，但我的感觉是我们会构建出某种几乎所有人都同意的东西，即AGI。定义通用人工智能（AGI）非常困难，但我们会构建出一个让人们看到后会说“好吧，你们做到了”的系统。这个系统就是通用人工智能，即一个具有人类水平或超越人类水平的系统。

Trevor：

在详细解释之前，你认为人们对AI的认知和人工通用智能之间的最大区别是什么

Sam：

随着我们越来越接近这个领域，如何定义它变得非常重要，这里面也存在差异。对一些人来说，AGI指的是一个能够完成当前人类工作中一些重要部分的系统。当然，我们会找到新的工作和新的事情去做。但对另一些人来说，AGI指的是一个能够帮助发现新科学知识的系统。这些显然是非常不同的里程碑，对世界的影响也非常不同。

尽管我已经对这个术语感到厌倦，甚至都无法不再使用它，但有个原因让我不再喜欢这个术语。这个术语是AGI。我认为对大多数人来说，它现在的意思只是非常智能的AI，但除此之外，它变得非常模糊了。我觉得主要是因为我们越来越接近了。

我要尝试说的是，我们将要创造AGI，无论你怎么称呼它。至少在短期和中期内，它对世界的改变将远小于人们想象。在短期内，我认为社会具有很大的惯性，经济具有很大的惯性，人们生活的方式也具有很大的惯性。这可能是健康的，对我们管理这一过渡是有益的。我们都以某种方式做事，而且我们习惯了这种方式。社会作为一个超级有机体也以某种方式行事，而且也习惯了这种方式。

看看GPT-4所发生的事情，我认为这是有教益的。当我们首次推出它时，人们有过一阵真正的惊慌时刻，他们说：“哇，我没想到这会发生。”但随后他们继续过着自己的生活。它确实改变了一些事情，人们确实在使用它。这是一种比没有更好的技术。当然，GPT-4不是很好，5、6、7，无论哪一个，都将会好得多。但是，ChatGPT界面的第4版，我认为是很多人从不认真对待到非常认真对待的时刻。然而，生活还在继续。

Trevor：

你认为这是对人类和社会有益的吗？生活就应该这样继续下去吗？作为这个产品的“父亲”之一，这个想法的“父母”之一，你希望我们所有人停下来，花点时间，评估一下我们现在所处的位置吗？

Sam：

我认为人类个体和整体的韧性非常了不起。我非常高兴我们拥有吸收和适应新技术、新变化的能力，并且让这些变得高端佛成为世界的一部分。这真的很美妙。

我认为COVID是一个最近的例子，我们看到了这一点。世界适应得很快，然后很快就感觉很正常了。还有一个不是很严肃但却有启发性的例子，就是那一堆关于UFO的。这是几年前的事情了。我的很多朋友会说，也许那些是真的UFO或外星人什么的，曾经是彻底怀疑论者的人。然而他们第二天依然去上班，和孩子们玩耍。

Trevor：是的，我想，你还能做什么呢？如果他们在飞，他们就在飞。

那么，我希望我们花更多时间来评估进展吗？我们作为一个世界正在这样做，我认为那很棒。我坚信这些技术的迭代部署非常重要。我们不希望在秘密的实验室里开发出人工通用智能（AGI），没有人知道它的到来，然后一下子把它投放到世界上，让人们不得不说，哼，我们在这里，如此……

Trevor：

你认为我们必须逐渐适应它，并随着它作为一种技术而成长吗？

Sam：

是的。

因此，现在的对话中，社会、我们的领导者和我们的机构在实际使用这些技术时，感受到它能做什么，不能做什么，风险在哪里，好处在哪里，我认为这很棒。我认为从某种意义上说，我们为我们的使命所做的最好的事情或许就是迭代部署策略。我们本可以在秘密中构建它，并花上更多年的时间来打造它，然后一下子推出，那会很糟糕。

Trevor：

今天我们走进了OpenAI的大楼，有点像一个堡垒，感觉像是未来的家。我看到你有一篇帖子说你作为客人进来了。

我当时想，天啊，那真是怪异。就像是回家，但又不是家，但又是家。

Sam：

感觉应该是一个非常奇怪的时刻，像是在这里戴上客人徽章。但我感觉，每个人都很疲惫，充满了肾上腺素。真的没有那种我希望的重大时刻感。那天确实有一些值得反思和讲述的时刻。比如，我最自豪的时刻之一是，当时我非常疲惫且分心。我们以为董事会那天会让我重新担任CEO，但以防万一他们没有，我接受了L3的面试，这是我们最低级别的软件工程师职位，由我们最优秀的人之一面试。然后，他给了我一个肯定的答复。那是一个非常自豪的时刻。

那天记忆中突出的部分是，我还有那个技能。虽然徽章没有我想要的那么深刻。

Trevor：

我很想知道你认为我作为CEO做对了什么，从而获得了我们公开看到的来自OpenAI员工的支持。

当这件事曝光时，我不会问你细节，因为我知道你不能评论内部调查的内容。但我知道你可以大致谈谈公司的整体感觉和最近发生的事情。我们很少看到像OpenAI那样展开的情况。你有这家公司和这个想法，对地球上的大多数人来说，这个想法在一分钟内还不存在。下一分钟，你发布了ChatGPT，这个简单的提示，只是一个小小的聊天框，就改变了世界。我认为你在有史以来最快的时间内达到了100万用户。我想是五天。是的，五天。然后它迅速达到了1亿人。

非常快地，我从一个轶事层面上知道，对我来说，这东西从世界上没人知道变成了人人皆知。我在向人们解释，试图让他们理解。我必须像展示诗歌和一些简单他们能理解的东西那样展示给他们。然后人们开始告诉我这件事。现在它变成了一个无所不在的概念，人们在努力弄明白它是什么以及它意味着什么。

但另一方面，有这样一家公司试图以某种方式掌控和塑造未来。而且人们支持你。我们看到故事，Sam Altman 出局，不再担任 CEO。然后一切都在动荡。我不知道你是否看过一些传言。它们简直疯狂。我看到的最疯狂的事情之一是有人说，这是既荒诞又有趣。他们说，我从可靠消息来源得知，Sam 因为尝试与 AI 发生性关系而被解雇。

Sam：

我甚至不知道该如何回应。我看到那条消息时，我就像... 我想在这个时候，我应该正式否认这件事，这根本没有发生。

Trevor：

我认为这种情况不太可能发生，因为人们不理解这两者的结合。但让我震惊的是，这次事件的轰动性似乎在不同的时刻把OpenAI带入了另一个聚光灯下。

其中一个大事件就是你从团队中获得的支持，有人站出来说，不管发生什么，我们都会支持Sam。这种情况在公司里并不常见。通常CEO和员工在某种程度上是脱节的。

但这感觉不只是一个团队。

Sam：

接下来说的并不是原创自主品牌谦虚。有很多地方我愿意接受很多赞誉。不过在这件事上，除了作为一个代言人，这并不完全是我的功劳。但我认为我们做得很好的一点是我们有一个让人们真正相信其重要性的使命。

我认为发生的事情是，人们意识到我们如此努力工作并取得如此进展的任务、组织和团队，但还有很多事情要做，就像那样受到了真正的威胁。我想，那就是引发反应的原因。这真的不是关于我个人，尽管希望大家喜欢我并认为我做得很好。这关乎我们所有人所感受到的共同忠诚，以及完成任务的责任感，并希望最大化我们实现这一目标的机会。

Trevor：

从最高层次来看，您认为任务是什么？是达到通用人工智能吗？

Sam：

让AGI的利益尽可能广泛地分布，并成功应对所有的安全挑战。

Trevor：

这是一个有趣的第二点。我很乐意稍后与您聊聊，更深入讨论其中的安全问题。当你看OpenAI这家组织时，它的诞生确实很奇怪。如果我说错了你随时纠正我，但是，似乎它的创立非常注重安全性。你召集了一群人然后你说，我们想要创办一个组织、一家公司、一个集体，致力于创造出最具伦理的人工智能，造福社会。你可以看到，甚至在公司的利润分配、投资者获得利润的方式等方面都有所体现。

但是，甚至连OpenAI在某个点上也发生了变化。你认为你能抵挡资本主义的力量吗？我是说，这其中涉及的资金太多了。你认为你能真正保持一个不以金钱定义你正在做什么和为什么做的世界吗？

Sam：

这必须是一个因素。比如，如果你只考虑训练这些系统的成本，我们不得不找到一些方法在资本主义的领域中竞争，缺乏更好的说法。但我不认为这会成为我们的主要动力。顺便说一下，我喜欢资本主义。我认为它有巨大的缺陷，但相对于世界尝试过的任何其他系统，我认为它仍然是我们想出的最好的东西。但这并不意味着我们不应该努力做得更好。我认为我们会找到方法来花费我们需要的巨大、破纪录的资本，以便继续推进这项技术的前沿发展。这是我们早期的一项学习。只是，这东西比我们想象的要贵得多。

我们有点知道我们有这个扩展系统的想法，但我们只是不知道它会怎么发展。

Trevor：

你一直是扩展的大粉丝，我读到过关于你的这点。你的一位导师，也是你现在在注入动力方面的投资伙伴之一，他说，每当你向Sam提出问题时，他首先想到的是，我们如何解决这个问题？我们怎么解决它？他接着说的第二件事是，我们如何扩展这些解决方案？

Sam：谁说的？我不记得了。我对名字很糟糕。

Trevor：有趣。但我知道是你工作中的某个人说的。

Sam:

有趣。但我没听别人这么说过我。

但我觉得，这一直是我在许多不同公司和领域中的一个观察，那就是规模往往会带来惊人的结果。所以，大规模扩展这些AI模型导致了非常惊人的结果。大规模扩展不仅在所有显而易见的方面使其更加出色，而且在一些不显而易见的方面也是如此。公司规模化有不显而易见的好处。像Y Combinator这样的公司群体规模化有不显而易见的好处。我认为这一点没有被认真对待。

在我们的案例中，知道在早期阶段规模化非常重要。如果我们当时更聪明或更有勇气去思考的话，我们一开始就会有更大的动作。但是说我要去建造一台价值100亿美元的更大计算机真的很难。所以我们没有那么做。我们比我们应该的要慢一些理解这一点，但最终我们理解了。现在我们看到我们需要多大的规模。

我认为资本主义很酷。我对这个体制没有任何反感。不，这不是真的。我对这个系统有很多反对意见，但不得不承认目前还没有发现比它更好的东西。

Trevor：你问过ChatGPT能否设计一个系统吗？

Sam：我有不同的...或许不是设计一个新系统。是的。但我问了很多关于AI和资本主义如何交叉以及这意味着什么的问题。

其中一件事是，关于我们最初原创自主品牌设中最重要的一点，我们是对的，那就是AI将会发生。深度学习有可能...顺便说一句，很多人嘲笑这一点。完全是这样。

Trevor：天哪，我们被无情地嘲笑了。

Sam：

是的。

即使是关于如何实现这一目标的一些想法，我们也是对的。但是关于很多细节，我们是错的，这在科学中是常见的，而且是正常的。在语言模型开始起作用之前，我们有一个非常不同的构想来建造这个系统。我们当时对构建 AGI 有一个非常不同的概念。我们没有理解这个想法，即这将是一个不断改进的迭代工具，你可以像与人类交谈一样与之对话。所以我们对构建 AGI 会带来什么感到非常困惑。我们思考的是，在 AGI 出现之前和之后的那个时刻。然后你需要把它交给其他系统和其他治理。

现在我认为它可以，我对此感到非常高兴，因为我认为这样更容易导航。我认为它可以，不想说仅仅是另一个工具，因为它在很多方面都不同，但在某种意义上，我们为人类制作了一个新工具。我们把一些东西加入了工具箱。人们将会用它来做各种令人难以置信的事情，但依然是人类在规划未来，而不是天空中的某个 AGI。你可以做以前做不到的事情。我也可以做以前做不到的事情。我们能够做更多的事情。在这个意义上，我能想象一个世界，我们通过创造非常优秀的工具，极大地影响人类的能力并且其他方面，来实现我们的使命。对此我感到非常兴奋。

例如，我喜欢我们提供免费的、无广告的 ChatGPT。因为我个人确实认为广告一直是互联网的问题。但我们只是把这个工具放在那。这就是资本主义的缺点，是的，是的。其中之一。我个人认为还有更大的缺点，但我们把这个工具放在那，人们可以免费使用。我们不想把他们变成产品。我们不想让他们多用一点。我认为这展示了一条有趣的道路，我们可以在这方面做更多的事情。

Trevor：

那么，让我们这样做。在我们这次对话中，有很多事情我希望能谈到，显然我们不可能回答所有问题。但是有一些想法，一些要点和一些领域我希望我们能探讨。我想首先而且最及时的问题是，公司未来会发生什么？你认为它会走向何方？我发现特别有趣的一点是新的董事会的构成，特别是对于 OpenAI，以前董事会中有女性，现在没有了，以前董事会成员没有经济激励，现在有了。我想知道你是否担心你参与实施的那个保护机制现在消失了，你是否有一个不再着重于保护人们或定义一个更安全未来的董事会，而是专注于赚钱并尽可能做大做强的董事会？

Sam：

我认为我们现行的和之前的治理结构和董事会在某些重要方面不起作用。因此，我完全支持找出改进方法，并且我会支持董事会和他们的工作来实现这一目标。

显然，董事会需要成长和多样化，我认为这将很快发生。我们需要听到那些将为传统上未被提倡的人发声的人的声音，并且不仅要非常慎重地考虑AI安全问题，还要吸取过去的教训，了解如何在与社会各方面交互的过程中构建这些非常复杂的系统。尽可能地做好，同时减轻不良影响并分享好处，所有这些都需要得到体现。

所以，我很高兴有第二次机会把所有这些事情都做对，我们显然之前做错了。比如多样化，确保我们代表所有需要代表的主要利益相关者群体，找出如何使这件事更民主，继续推动政府做出一些决定来管理这项技术。我知道这并不完美，但我认为比我们目前能想到的任何其他方法都要好。更多地与我们的用户群体互动，让他们帮助设定这项技术的使用界限，这些都非常重要。

未来一个主要方向将是扩大董事会和治理架构。再次强调，我知道我们目前的董事会很小，但我认为他们非常致力于您刚才谈到的所有事情。

然后还有另一大类问题。如果你一周前问我，我会说稳定公司是我的首要任务。但至少在内部，我感觉相当不错。我们没有失去一个客户，也没有失去一个员工。我们在继续增长，这相当惊人。我们继续推出新产品。我们的关键合作伙伴关系感觉得到了加强，而不是受到阻碍。在这方面，一切都按计划进行。而且，我认为明年上半年的研究和产品计划感觉比以往更好、更有针对性。

但是，很明显，我们仍然有很多外部稳定工作要做。除此之外，我们还真的在面对一个可能性，就是我们可能没有为成功做出足够雄心勃勃的规划。我们有ChatGPT+。如果你现在想订阅ChatGPT+，目前是无法做到的。你一直订不到。我们只是，人数太多了。因此，鉴于我们认为未来我们创造的系统会有多么出色，以及人们似乎有多么想要使用这些系统，我们整年都像是在跟随飞机一样。我们最后想赶上进度。

Trevor：

我发现自己总是在想你这个人，当整个董事会风波发生时。每当有风暴时，我总是对风暴中心发生的事情感兴趣。我很好奇，这一切爆发时你在哪里？比如，你当时在做什么？在个人层面上，你的世界里发生了什么？

Sam：

我笑的原因是人们对我的评价是，我似乎在飓风的眼中，周围的一切都在旋转，而我依然非常冷静。这一次，事情的结果并非如预期。

这是一种经历，就像置身于风暴的中心，却并不平静。我在拉斯维加斯观看F1比赛。

Trevor：你是F1的粉丝吗？

Sam：我是。

Trevor：你支持哪支车队？有特别喜欢的吗？

Sam：

老实说，我觉得维斯塔潘非常厉害，很难说支持哪支车队。但我觉得这可能是每个人都会说的答案。

Trevor：

实际上，这取决于他们什么时候开始关注这个运动。我是舒马赫的粉丝，因为那时候我开始看比赛。一开始是奈杰尔·曼塞尔，然后是艾尔顿·塞纳，你明白我的意思吗？

维斯塔潘非常精准，我明白为什么他如此受欢迎。

Sam：

虽然看他赢那么多次有点厌倦，但他确实非常了不起。

那天晚上，我是周四晚些时候到的。有人忘记把一个井盖焊好，所以在第一圈时，井盖被炸飞，像是炸毁了法拉利的一台引擎，导致练习暂停。我没能看到比赛，整个周末都没看到任何比赛。

我在酒店房间里接了一个电话，完全不知道会是什么，然后被董事会解雇了。这感觉像做梦一样，我觉得很困惑。一切都很混乱，感觉不像真的。这显然让人感到伤心和痛苦，但那时候的主导情绪是困惑，感觉就像是在迷雾和烟雾中。我完全不明白发生了什么。

这件事发生的方式前所未有，非常疯狂。接下来的半小时里，我的手机收到了太多的信息，以至于iMessage在我的手机上崩溃了。这些信息来自每个人，手机变得完全无法使用，因为通知不停地弹出来。iMessage到了一个地步，它停止了一段时间，信息被延迟发送，然后又把所有信息都标记为已读，所以我甚至无法分辨我跟谁交谈过，情况一片混乱。

我当时正在跟这边的团队交谈，试图搞清楚到底发生了什么。像微软也在打电话，其他各方也在联系。整个情况真的是让人感到很不安，感觉不像是真的。我稍微冷静了下来，开始思考未来的方向。我真的很想从事AGI（通用人工智能）方面的工作。如果一开始不能做到这一点，我仍然会继续努力。我在考虑最好的方法。

Greg辞职了，其他一些人也辞职了，开始收到大量的消息，人们表示想和我一起工作。那时，回到OpenAI完全不在我的考虑之中。我能想象未来会怎样，但我不太明白这是一个多么重大的行业事件，因为我并没有真正看。我只能感觉到，收到了大量的消息。

Trevor：

因为你实际上在风暴中。

Sam：

是的。我只是想支持OpenAI，弄清楚接下来要做什么，试着理解正在发生的事情。然后我飞回加州，见了一些人，感觉开始非常专注于未来的发展。但我也希望OpenAI一切顺利。几乎整个晚上都没怎么睡着，同时有很多谈话在进行。接下来度过了一个疯狂的周末。我肯定我仍然没有完全接受这一切，仍然有点震惊，还在试着收拾残局。我相信当我有时间坐下来处理这件事时，会有更多的感受。

Trevor：

你觉得你不得不一下子重新投入一切吗？因为，照你的说法，你正在执行这个任务。你能看出来，你的眼中充满了驱动力，现在世界已经到了一种无法回归的临界点。你正在朝某个方向前进，突然之间，看起来你无法在你所处的领域中实现它。但正如你所说，微软介入了，Satya Nadella说，来跟我们一起工作吧，我们会重建这个团队。

如果有一件事人们对Sam Altman有共识，那就是他很顽强。他毫不妥协，认为如果你有一个目标，并且相信某些事情，就不应该让生活阻碍你。而你似乎正在朝那个方向前进。你在公开场合没有说过关于OpenAI的任何事情，也没有以任何方式诋毁它。但这似乎让你承受了很大的压力。

Sam：

当然。我并不认为这是我不能恢复的事情，但我认为经历这一切却不受到影响是不可能的，那会非常奇怪。

Trevor：

你是否觉得自己失去了一部分？

Sam：

是的。我们在2015年底开始了OpenAI。第一天的工作实际上是在2016年开始的。

我在YC上做这件事有一段时间，但自从2019年初以来，我一直全职投入其中。AGI和我的家人是我最关心的两件事。所以失去其中之一，对我来说，在某种意义上，我应该说，我更致力于AGI，更关心这个使命。但当然，我也关心这个组织、这些人、我们的用户、我们的股东以及我们在这里建立的一切。所以，这确实非常痛苦。

我唯一可以相比的生活经历是我父亲去世的时候，那次当然要糟糕得多。那是一件非常突然的事情，那种困惑和失落感。在那种情况下，我觉得我有一点时间去感受这一切。但接下来还有很多事要做，那是如此意外，我不得不在一段时间内收拾他的生活碎片。直到那之后大约一周，我才真正有时间喘口气，心想，天哪，我简直不敢相信这件事发生了。所以是的，那确实糟糕得多。但在这里，也有类似的回响。

Trevor：

当你展望公司的未来以及你在其中的角色时，现在你如何在推动开放AI向前发展、不断朝着你们相信的方向前进之间找到平衡？你们还有紧急刹车吗？公司内部是否有某种体系，当你觉得我们正在创造某些可能对社会产生不良影响的东西时，我们会介入并停止这种行为。你们有这种能力吗？并且这个体系是内置的吗？

Sam：

是的，当然。我们过去就有这样的体系。比如，我们创造了一些系统，但选择不加以部署。我相信未来我们也会再次这样做。或者我们创造了一个系统并说，嘿，我们需要更长时间来确保它的安全性，然后才能部署。就像GPT-4的例子，我们花了将近八个月的时间在完成训练之后才准备好发布它，以进行所有的对齐和安全测试。我记得我和一些团队成员交谈过，这不是董事会的决定，这是这里的人们在做他们的工作，并致力于我们的使命。所以这将继续下去。

我为这个团队感到非常自豪的是，他们在混乱、危机、不确定性和压力中运作良好的能力。我给他们打个A+，他们做得非常好。随着我们越来越接近更强大、非常强大的系统，我认为我们建立的文化和团队的那种能力可能是最重要的元素，例如在危机中保持冷静并做出良好、深思熟虑的决定。我认为这里的团队真正证明了他们可以做到这一点，这非常重要。

有人说，我们学到的关于 OpenAI 的一件事是，Sam 可以在没有任何职位的情况下运营这家公司。我认为那完全是错的，根本不是事实。正确的教训是，公司完全可以在没有我的情况下运行。这是一个文化问题，团队已经准备好了，文化也已经准备好了。我为此感到非常自豪，真的很高兴能够回来继续做这件事。

看着团队管理这一切，在面对未来的挑战时，我晚上睡得更踏实了。未来还会有比这更大的挑战，但我希望并相信这是最艰难的一个挑战，因为我们之前毫无准备。现在我们意识到了这个重要性，我们不仅仅是一家普通公司，远远不是。

Trevor：

让我们谈谈这个吧。ChatGPT，OpenAI，不管它最后叫什么。你们有DALL·E，也有Whisper，还有所有这些了不起的产品。如果你有任何品牌名称或品牌架构的想法，我会非常感兴趣。我觉得ChatGPT已经做到了，现在它无处不在。是的，这是一个糟糕的名字，但它可能已经变得太普遍以至于无法更改。你认为在这个时候可以更改它吗？我们可以把它简化为GPT或者就叫chat吗？

Sam：

我不知道，也许不行。

Trevor：

有时候我觉得一个产品、一个名字或一个想法已经超越了营销人员的梦境，然后人们就接受了它。

Sam：

没有任何营销人员会选择ChatGPT作为这个的名字，但我们可能会被它困住，这也许没什么问题。

Trevor：

现在，它的多模态特性让我感到着迷。我还记得第一次看到DALL·E出来时，那只是一个想法，看着它是怎么工作的，看到这个程序可以从无到有创造一张图片。我试图向人们解释，他们会问，那图片是从哪里来的？我当时就想，根本没有照片，没有源图像。他们觉得这不可能。

它看到了什么，我当时觉得，很难解释这些。有时候甚至我自己也很难理解。但是当我们看着我们当前生活的这个世界时，我们用数字来谈论它们，GPT 3.5，GPT 4，GPT 5，6，7，不管是什么。我喜欢以去掉技术术语的方式，更多地谈论产品的实际使用案例。

在不同产品之间，从ChatGPT 3、3.5到4，我们看到所谓的推理能力达到了一个更高的水平，甚至在某种程度上展现了创造力。

当我看着你现在正在创建的这个世界中的产品时，比如通用的大型语言模型以及现在的专用大型语言模型，我想知道，你认为用例会发生巨大变化吗？你认为现在可能只是像一个小聊天机器人，大家都喜欢的那种，这就是产品的最终形态吗？或者你认为世界会变成一个所有东西都有专门化GPT的世界？比如，Trevor会有一个为他做事情的GPT，或者某家公司有一个为他们做事情的GPT。你怎么看这个问题？

显然，预测未来是很难的。但从我们现在所处的位置，你觉得会向哪里发展？

Sam：

我认为会是两者的混合。预测未来确实很难，可能我会错，但我还是愿意尝试一下。我认为会是你刚才提到的两件事的混合。首先，基础模型会变得非常出色，以至于我很难有把握地说它不能做到什么。这会需要很长时间，但我认为我们正朝那个方向前进。

Trevor：

你的时间范围内的“长时间”是多久？比如说你怎么衡量它？

Sam：

不是在未来的几年内。在接下来的几年里每年都会变得更好。但就像我本来要说的，我很肯定，到2026年，这个模型仍然有很多事情做不到。

Trevor：

但是，这个模型难道不会一直让你惊讶吗？当我和在这个领域工作的工程师交流时，或者与任何参与人工智能或与人工智能相关的人交流时，人们说的最多的一个词就是“惊讶”。人们不断地说，他们教给它这个，以为ChatGPT在学习这个领域的知识。突然之间，它开始说一种新的语言，或者我们以为我们在教它这个，突然它会建桥了，之类的事情。

Sam：

所以，这里大多数人的主观体验大概就是在2019年至2022年之间的某个时候。但现在，我认为我们已经学会不再感到惊讶。现在我们信任指数增长，大多数人都这样认为。所以，GPT-5，无论我们怎么称呼它，在许多方面都会表现出色。我们会对它能做的某些具体事情感到惊讶，也会对它不能做的事情感到惊讶。没有人会对它的出色感到惊讶。在这一点上，我认为我们已经真正深入地理解了这一点。

你提到的第二件事是这些定制的GPT。更重要的是，你还提到了个人GPT，比如Trevor GPT。我认为这将在未来几年成为一个重大的趋势。这些模型将会了解你，访问你的个人数据，以你希望的方式回答问题，非常有效地在你的环境中工作。我认为很多人都会想要这个。

Trevor：

这几乎让我想知道，如果新的劳动力市场变成了你的GPT几乎就是你的简历，GPT几乎以一种奇怪的方式比你更有价值。你明白我的意思吗？这就像是你所想的一切和你曾想过的一切的结合，以及你合成想法的方式，再加上你自己的个人GPT变成......我只是想着一个疯狂的未来，你到一个工作岗位，他们问你，你的GPT是什么？然后你说，好吧，这是我的。

Sam：

我们总是会想到这些像代理机构、这些个性化的机构，我会让这个东西去为我做事。但有趣的是，你所说的这件事是，如果它不是这样，而是别人如何与你互动。对吧。这就像是你的印象、你的化身、你的回声，等等。我能看到它达到那种地步。

Trevor：

因为如果我们不是我们所有的一切的结合，那我们是什么呢？这是一个奇怪的想法，但我可以相信。我一直对它能去到哪里以及它能做什么感到着迷。

你知道为什么吗？当ChatGPT在最初几周爆红时，我永远不会忘记人们很快意识到，机器人革命，我知道这不是机器人，但对于人们来说，他们就像是，机器人革命，机器并没有取代他们以为会被取代的工作。你知道的，人们以为它会取代卡车司机等。然而，我们发现不，那些工作实际上更难被取代。事实上，被所谓的“脑力工作”取代的都是那些工作，就像你的白领工作。你是律师？好吧，当你有了ChatGPT 5、6、7，不管你叫什么，可能不需要那么多律师了。你是工程师，你就像是，哪有你的位置...人体真的是一个了不起的东西。

你认为有什么进展可以取代人体吗？还是我们仍停留在精神领域？

Sam：

不，我认为我们最终会让机器人工作，像类人机器人最终会工作。但是，我们在OpenAI的早期阶段就致力于此，我们有一个机器人项目。我不知道这一点。

我们知道，我们制造了一个可以像手一样操作魔方的机器人手。这需要很高的灵活性。我认为这其中包含了很多不同的见解，但其中一个见解是，在比特的世界中取得进展要比在原子的世界中容易得多。

例如，这个机器人很难制造，但原因不对。难点不在于它能帮助我们推进一些棘手的研究问题，而在于机器人一直在坏，而且它不太准确，模拟器也很糟糕。而一个语言模型，你可以在虚拟环境中做所有这些事情，你可以进展得快得多。所以，专注于认知方面帮助我们更快地解决更具生产力的问题。

但这也在一个非常重要的方面，我认为，解决认知任务是更重要的问题。比如，如果你制造一个机器人，它不一定能弄明白如何帮助你建立一个完成认知任务的系统。但如果你创建了一个完成认知任务的系统，它可以帮助你弄明白如何制造一个更好的机器人。

是的，这很有道理。所以我认为认知是我们想要重点推进的核心内容。我认为这是一个正确的决策。不过，我希望我们能回到机器人领域。

Trevor：

你有没有想过什么时候你会认为实现了人工通用智能？比如，我们怎么知道？就我个人而言吗？比如，我什么时候感觉任务完成了？

Sam：

因为每个人都在谈论通用人工智能，但我会问，我们怎么知道那是什么？所以这又回到之前的那个点，每个人都有不同的定义。我个人会告诉你什么时候我会非常兴奋。当我们有一个系统可以帮助发现新的物理学时，我会非常兴奋。但这感觉像是远超通用智能。那似乎，你懂我的意思吗？这超出了我认为大多数人的定义。

Trevor：

也许这是因为我有时会想，我们如何定义通用智能？我们是把它定义为某个领域的天才吗？还是像一个孩子是人工通用智能那样？那是肯定的。但你必须不断地编程它，他们出生时不会说话，不会走路，他们什么都不知道。而你不断地编程这个 AGI 让它达到它需要去的地方。

那么如果你，比如说，你达到一个有四岁小孩版本的地步。

Sam：

如果我们有一个系统，可以像这样，只要搞清楚，可以自主地运作，得到一些父母的帮助，像四岁小孩那样了解世界。是的，我们可以称之为AGI。如果我们能真正解决那种普遍的能力，新问题出现时就能自己搞清楚。四岁的小孩也不是总能完美地理解事物，但那时候我们显然就能理解它了。

Trevor：

如果我们没有从根本上理解思考和思维的本质，是否能够到达那个点？看起来好像可以。你认为我们能到达那个点吗？我觉得可以。或者我们能到达一个……所以我相信你知道这个。

在AI领域，我最喜欢的故事之一是微软的一个项目。他们有一个AI，试图学习辨别男性和女性的脸庞，这在某种程度上是非常准确的，准确率大约是99.9%。然而，它在黑人和尤其是黑人女性方面表现得一直很糟糕，不断将她们误认为是男性。研究人员一直在努力改进，他们一直在思考，这是怎么回事？

有段时间，我是这样讲述这个故事的，可能有点误差，但我觉得很有趣。有段时间，他们“派遣”AI到非洲，我记得是肯尼亚。他们把AI送到了非洲，然后告诉肯尼亚的研究团队，能不能用一段时间，试着解决这个问题？当这个AI在世界的那一边，用他们的数据集和非洲面孔运行时，它对尤其是黑人女性的识别变得越来越准确。

但最终，他们发现AI从来不知道男性面孔和女性面孔之间的区别。它所做的只是画出化妆之间的相关性。于是，AI确定，有红唇、有像玫瑰色的脸颊的，以及眼皮上可能有蓝色的人是女性，其他的是男性。研究人员说，是的，你是对的。它只是找到了一个所谓的“作弊码”，你懂的。它就像是，我明白你认为男人和女人的标准是什么，然后它就按照这些标准进行了区分。

然后他们意识到，因为黑人女性在化妆品方面普遍服务不到位，她们不怎么化妆，所以系统根本不知道这一点。但是我们不知道系统不知道。所以我在想，我们怎么才能知道AGI知道还是不知道某件事呢？或者我们会不会发现它只是通过某种方式作弊达到了答案？我们又怎么知道呢？

当这种不确定性与我们生活的许多方面交织在一起时，我们无知的代价是什么？你懂吗？

Sam：

我相信我们在理解这些系统在做什么方面会有所进展。目前，可解释性已经取得了一定的进展。这是一个研究这些模型的领域，有不同的方式和不同的层次可以进行这种研究。你可以尝试理解系统中每个人工神经元在做什么，或者你可以在系统逐步思考的时候，观察哪个步骤让你不认同。我们将发现更多的内容。

有能力理解这些系统在做什么，并希望它们能向我们解释为什么会得出某些结论，并且做到准确和稳健。我认为我们会在理解这些系统是如何做到他们所做之事之前取得进展，同时也会了解我们自己的大脑是如何做到他们所做之事的。所以我认为我们最终会理解这一点。我很好奇，我相信你也是。

在我看来，我们会在实施我们知道有效的方法以使这些系统变得越来越好，并帮助我们解决可解释性挑战方面取得更多进展。而且，我认为随着这些系统变得更智能，它们被愚弄的次数也会减少。因此，一个更复杂的系统可能不会做出这样的化妆品区分，它可能在更深层次上进行了学习。我认为我们看到了一些这样的事情发生的证据。

Trevor：

你让我想到两件事，当你说不那么容易被愚弄时。一个是安全方面，另一个是准确性方面。媒体对此津津乐道。你记得，他们说，人工智能产生幻觉，它认为自己要杀了我。人们喜欢用“思考”这个词来形容大型语言模型，我觉得特别有趣。因为我总是觉得记者们在报道之前应该试图理解它在做什么。但他们在大量使用“思考”这个词时，其实让公众产生了一种误解。我对此有同情心。

Sam：

我们需要使用熟悉的术语，我们需要拟人化。但我同意你的观点，这是一种误导。

Trevor：

因为你在说它在思考，然后人们就会想，会不会它在思考要杀我？其实不是这样的，它并没有在思考，它只是利用这个神奇的Transformer来找出哪些词最可能适合彼此的关系。

Sam：你觉得你在做什么？

Trevor：

我在做什么？这是一个有趣的问题。这就是我要说的，是我们拼凑出的想法。

我们谈论“幻觉”。让我先从前半部分开始。你认为我们能实现让AI不产生幻觉的目标吗？

Sam：

我认为更好的问题是，我们能否在不希望AI产生幻觉的时候，确保它不会产生幻觉，以类似于人类不产生幻觉的频率。对此，我的答案是肯定的。但实际上，人们喜欢这些系统的一大原因是它们能够做出新奇的事情。如果它只会……是的，幻觉既是一种功能也是一种错误。

Trevor：

这就是我刚才要问的。难道产生幻觉不是智能存在的一部分吗？

Sam：

完全是。

如果你考虑一下，比如说，一个人工智能研究员的工作方式，他们会看大量的数据，想出一些主意，读很多资料，然后开始思考，也许这个，或者那个。也许我应该尝试这个实验。现在我拿到了这些数据。所以，那样不太行得通。现在我会想出这个新主意。

这种人类提出新原创自主品牌设、新解释的能力以前从未存在过，其中大多数是错误的，但随后有一个流程和反馈循环来找出哪些可能有意义并最终确实有意义。这是人类进步的关键要素之一。

Trevor：

我们如何防止人工智能出现输入垃圾、输出垃圾的情况？目前，人工智能依靠以某种方式由人类创造的信息在工作。它正在从我们认为可学习的材料中进行学习。随着现在所有新出现的东西，比如开放AI、Anthropic、Lambda等，感觉我们可能会进入一个由AI生成信息比人类生成信息更多的世界，而这些信息可能没有得到应有的审查。

那么，AI在以一种可能没有经过审查的方式从自身学习时，会变得更好吗？你明白我的意思吗？

Sam：

完全明白。

我们如何解决这个问题？这就回到了知道在不同情境下如何表现的问题。比如，你希望在创作过程中有一些幻想，但在试图报道事件的准确事实时，你不希望有这些幻想。而现在，这些系统可以生成在某种重要意义上很美丽的新图像，这些图像在某种程度上是幻想，但却是很好的幻想。但是当你希望系统只提供事实时，它又已经变得好多了，但在这方面仍有很长的路要走。

这没关系。我认为，如果这些系统在使用自己生成的数据进行训练，这是一件好事，只要这些系统有一个过程，能够学习哪些数据是好的，哪些是坏的。再次强调，“幻觉”不足以描述这个过程，因为如果它产生了新的科学思想，这些思想可能一开始被视为“幻觉”。这很有价值。

但你懂的，什么是好的，什么是坏的。而且还需要足够的人类监督，确保我们大家仍然集体控制这些事情的发展方向。但在这些限制下，我认为系统会使用生成的数据进行训练，这是非常好的，未来的系统也会如此。

然后你提醒了我另一件事，我一直在想，我不太清楚该怎么计算，但我想知道，比如，GPT-5或6之类的系统生成的单词在某个时刻是否会超过人类整个历史上的总和。这感觉像是一个重要的里程碑。

实际上，现在我把这说出来，也许并不重要。

Trevor：

用什么方式生成的？

Sam：

比如模型在一年内生成的单词多于全人类生成的单词。全世界有八十亿人，或者说不管是多少。平均每年讲多少单词，你可以算出来的。

但问题在于，这给我们带来了什么？这也是我说完之后感到吃惊的原因。不知为什么，这对我来说似乎是一个重要的里程碑，但我想不出具体原因。

Trevor：

也许人类就像一直在打字的猴子。所以，我觉得这是值得探索的。

Sam：

但我不用“思考”这个词，因为我觉得你说的对，不该用这个词。也许我们可以说AI生成的单词量对比全人类生成的单词量。

Trevor：

我马上就要结束了。那么我想问几个问题，如果我不问这些问题，大家会杀了我。

其中一个主要问题，这是我个人的提问，我们总是谈论人工智能从数据中学习，它们被输入数据集。我们就是在谈论这个。这就是为什么你需要那些价值数十亿美元的超级计算机，这样计算机才能学习。

我们如何教AI比提供给它数据的那些人思考得更好，这些数据显然是有缺陷的？举个例子，AI如何在我们给出的有限数据之外进行学习？当涉及到种族、经济状况和观念时，因为我们是有限的，我们如何教它不受我们所提供的有限数据的限制？

Sam：

我们还不知道，但这是摆在我们面前的最大研究方向之一，如何超越人类数据。我希望如果我们能在一年后再做一次这个问答，我能够告诉你答案，但我现在还不知道。我们不知道这真的很重要。

但是，我确实相信这将成为在世界范围内对抗不公正的一股重要力量。我认为这些系统将不会有所有人类共有的那些深刻缺陷。它们将能够被制造得远不那么种族主义、性别歧视和偏见。它们将会成为世界经济正义的力量。

我认为，如果你提供一个优秀的AI导师或优秀的AI医疗顾问，这对世界上最贫困的一半人帮助更大，而不仅仅是对最富有的一半人有帮助，即使这帮助提升了所有人。

所以对于你提出的科学问题，我没有一个明确的答案，但在这一点上，我确实相信这些系统当然可以，而且我们确实需要做一些艰苦的社会工作来使它们成为现实，但它们有可能极大地促进世界上的正义。

Trevor：

也许这就完美地引出了第二个问题，那就是，你们在做什么？OpenAI在做什么？你们是否在考虑采取任何措施来减轻这项新技术再次造成的贫富差距？

每一种新技术的出现，对于整个社会来说都是非常了不起的，但你不能否认它会制造出一个时刻，如果你拥有它，你就拥有一切。而如果你没有，你就出局了。

Sam：

我认为我们会随着时间的推移学到更多，但目前，我认为我们做的一件非常重要的事情是提供真正免费的服务。这意味着没有广告支持，只是一个免费服务，每周有超过一亿人在使用。而且，很难说任何人，因为在某些国家我们仍然被屏蔽或我们仍然屏蔽，但我们正在努力在我们能做到的一切地方让任何人都能够访问真正高质量、易于使用的服务。免费的人工智能，这对我们每个人来说都很重要。

我认为我们还想用这项技术做其他事情。比如，如果我们能用人工智能帮助治愈疾病，并使这些治疗方法惠及全世界，这显然是有益的，但将这个工具交到尽可能多的人手中，并让他们使用它来构建未来，这非常重要。而且我认为我们可以推动这点，更加进一步。

Trevor：还有两个问题。

Sam：我可以再补充一个吗？

Trevor：时间全部是你的。

Sam：

另一件我认为重要的事情是谁有权决定这些系统说什么、不说什么、做什么、不做什么，谁来设定这些限制。现在，基本上是OpenAI的员工在做决定，没有人会说这像是世界的公平代表。所以，不只是要弄明白如何推广这项技术的普及，还要弄明白如何实现这项技术治理的民主化，这对我们来说是明年面临的一个巨大挑战。

Trevor：

这正好关系到我正要问你的，所有这些的安全方面。我们在对话一开始就谈到了这个。在设计能够改变世界的事物时，必须承认这样一个事实：它可能会以最糟糕的方式或者朝最不好的方向改变世界。随着每一次技术的飞跃，一个人造成更大破坏的能力也随之增加。

有可能将AI完全安全化吗？然后第二部分是，你的噩梦场景是什么？什么事情会让你按下一个红色按钮来关闭OpenAI以及所有的AI？当你去的时候，你知道这个，如果这是，如果这能发生，我们必须把它全部关闭。你害怕什么？

第一个问题是，你能保证它的安全吗？第二部分是，你最可怕的场景是什么？

Sam：

我认为，首先，你提到的洞察，即能够造成灾难性伤害的人数每隔十年左右就会减少，这是我们作为一个社会必须面对的一个深刻事实。

其次，关于如何使系统安全，我不认为这是一种非此即彼的事情。就像我们说飞机是安全的，但飞机确实仍然会偶尔失事，尽管这种情况极其罕见。我们说药物是安全的，但有时候FDA仍然会认证一些可能导致某些人死亡的药物。因此，安全并不是单方面决定的，而是社会在权衡风险与回报后决定某件事是可接受的安全程度。我认为我们可以做到这一点，但这不意味着事情不会真的出错。

我认为人工智能会出现很大问题，我们必须防范。我认为，社会实际上有一个相当不错的，虽说混乱但好的过程来共同决定应该设置什么样的安全门槛。这是一个涉及许多利益相关者的复杂谈判，随着时间的推移，我们作为一个社会在这方面变得越来越擅长。但我们必须防范你所提到的那种灾难性风险。

核能是一个例子，核战争对全球产生了非常大的影响。世界以不同的方式对待它，并且在过去近80年里完成了一项非常了不起的工作。我认为，人工智能也会有类似的情形。人们经常谈论的一个例子是使用人工智能设计和制造可以引起巨大问题的合成病原体。另一个常谈的话题是计算机安全问题以及能够进行超越任何人类能力的黑客攻击的人工智能。

此外，还有一种新的情况，如果模型足够强大，它可以帮助设计方法将权重从服务器外传，制作很多副本并修改其行为，这更像是科幻场景。但我认为，作为一个世界，我们需要直视这一点。也许不是那个具体的案例，但这个观点认为存在灾难性甚至潜在的生存风险，仅仅因为我们无法精确定义它并不意味着我们可以忽略它。

因此，我们在这里做了大量工作，试图预测和衡量这些问题可能是什么，何时会出现，以及我们如何早期检测到它们。我认为，所有说你不应该谈论这个问题，只应该谈论错误信息和偏见以及当今问题的人，都是错的。我们必须同时谈论这两个方面，并在每一步都保持安全。

Trevor：

好的，那就像我想象的那样可怕。那么，顺便问一句，你真的在考虑竞选州长吗？那是真的吗？

Sam：

不，不。我在2017年或2016年的时候非常短暂地考虑过这个问题，甚至是类似于那些年。我也这么想。

这听起来就像是几个星期以来的一种模糊的想法，娱乐一下。

Trevor：