美国留学

机器心脏报告

今天，OpenAI 联合创始人兼首席科学家Ilya Sutskever 在Twitter 上宣布辞职。

在OpenAI 工作近10 年后，我做出了离开的决定。 OpenAI 的发展轨迹堪称奇迹，我相信OpenAI 在Sam Altman、Greg Brockman 和Mira Murati 的领导下，以及Jakub Pachocki 杰出的研究领导力下，将构建安全且有益的AGI。

能够一起工作是一种荣幸，我会非常想念你们。已经过去这么久了，谢谢大家所做的一切。我对接下来的事情感到很兴奋，下一个项目的工作对我来说非常有意义，我将在适当的时候分享细节。

Ilya Sutskever 还分享了与Sam Altman、Greg Brockman 和Mira Murati 等人的照片。 OpenAI CEO Altman 在推特上表示，Ilya 和OpenAI 的分道扬镳令人非常难过。

伊利亚无疑是我们这一代最伟大的思想家之一，是我们领域的指路明灯，也是一位亲爱的朋友。他的才华和远见是众所周知的。他的温暖和同情心不太为人所知，但同样重要。

没有他，OpenAI 就不会是今天的样子。尽管他要做的事情对他个人来说意义重大，但我永远感激他在这里所做的事情，并致力于完成我们共同开始的使命。我很高兴在这么长的时间里我能够如此接近这样一位真正非凡的人才和一个如此专注于为人类创造最好的未来的人。

Jakub Pachocki 将成为我们新任首席科学家。雅库布无疑也是我们这一代最伟大的思想家之一。我很高兴他能来这里接过接力棒。他负责了我们许多最重要的项目，我坚信他将带领我们快速、安全地实现我们的使命，即确保通用人工智能(AGI) 惠及每个人。

即将成为OpenAI下一任首席科学家的Jakub Pachocki也表达了对前任Ilya的感谢。

Ilya 将我带入了深度学习研究的世界，多年来一直是我的导师和伟大的合作者。他对深度学习的令人难以置信的愿景成为OpenAI 和当今人工智能领域的基础。我非常感谢他与我们进行的无数次对话，从有关人工智能未来进步的高层讨论，到深入的技术白板会议。伊利亚，我会想念和你一起工作的。

据OpenAI官网介绍，新任OpenAI首席科学家Jakub Pachocki拥有卡内基梅隆大学理论计算机科学博士学位，自2017年以来一直领导OpenAI的变革性研究举措。此前他曾担任OpenAI的研究总监，是该领域的领导者。 GPT-4和OpenAI Five的开发，包括大规模强化学习和深度学习优化的基础研究。

OpenAI 表示：“他在重新调整公司扩展深度学习系统的愿景方面发挥了重要作用。”至此，Ilya Sutskever 与OpenAI 的八年故事结束了。事实上，即使在没有OpenAI 的世界里，Ilya Sutskever 仍然会载入人工智能史册。

他有一个动荡的童年，本科期间成为辛顿的学生。伊利亚·苏茨克韦尔(Ilya Sutskever) 是出生于前苏联的以色列裔加拿大人。他五岁时随家人移民到耶路撒冷（因此他精通俄语、希伯来语和英语），并于2002 年移居加拿大。在多伦多大学学习本科期间，Ilya Sutskever 开始与Geoffrey Hinton 一起研究一个名为“改进的随机邻域嵌入算法”的项目，后来在攻读博士学位期间正式加入了Hinton 的团队。接下来发生的事情我们都熟悉了：2012 年，Hinton 带着Ilya Sutskever 和另一位研究生Alex Krizhevsky 构建了一个名为AlexNet 的神经网络，其识别照片中物体的能力远远超过了当时的其他系统。

Ilya Sutskever（左）、Alex Krizhevsky（中）、Geoffrey Hinton（右）Geoffrey Hinton、Yann LeCun、Yoshua Bengio 成为深度学习三巨头，荣获2018 年图灵奖。获奖理由是“因为他们但当Ilya Sutskever 在2000 年代初加入Hinton 的团队时，大多数人工智能研究人员认为神经网络是一个死胡同，“由于我与Geoffrey 的合作，我有机会研究一些最重要的成果。 Ilya Sutskever 后来在接受采访时表示：“我们致力于解决我们这个时代的重要科学问题，并追求大多数科学家强烈反对的想法，但事实证明这是绝对正确的。”AlexNet 是深度学习的突破时刻。在经历了多年的失败之后，他的团队第一个证明了模式识别问题是可以解决的，——的秘密是用大量数据和计算能力训练的深度神经网络，这个想法从计算机视觉延伸到了自然语言处理领域。这也是ChatGPT目前取得成就的重要因素，包括Sora在视频生成领域的成功。这两点也是密不可分的。 2012年毕业后，Ilya Sutskever在斯坦福大学跟随Andrew Ng做了两个月的博士后，然后回到多伦多大学并加入了Hinton研究小组的衍生公司DNNResearch。 2013 年3 月，Google 收购了DNNResearch，并聘请Ilya Sutskever 担任Google Brain 的研究科学家。 “伊利亚一直对语言感兴趣，”现任谷歌首席科学家杰夫迪恩说。 “他对事物的发展方向有很强的直觉。”在Google，Ilya Sutskever 展示了如何将深度学习的模式识别功能应用于数据序列。包括单词和句子。他与Oriol Vinyals 和Quoc Le 合作创建了序列到序列（Seq2seq）学习算法，深入参与TensorFlow 研究，并且是AlphaGo 论文的众多作者之一。

加入OpenAI并主导GPT系列研发。 Ilya Sutskever 对语言的浓厚兴趣可能促使他加入OpenAI。 2015 年7 月，Ilya Sutskeve 参加了Y Combinator 总裁Sam Altman 在Sand Hill Road 一家餐厅举办的晚宴，在那里他结识了埃隆·马斯克和格雷格·布罗克曼。从那次晚餐开始，OpenAI 诞生了。与会者一致同意一件事：它需要成为一个非营利组织，没有任何竞争性激励措施来淡化其使命，并且需要拥有世界上最好的人工智能研究人员。 2015年底，Ilya Sutskever开始以“研究总监”的头衔领导OpenAI的研究和运营。该组织还吸引了多位世界知名的人工智能研究人员，包括“GAN之父”Ian Goodfellow、加州大学伯克利分校的Pieter Abbeel和Andrej Karpathy。这家新公司得到了Sam Altman、Elon Musk、Peter Thiel、微软、Y Combinator 等10 亿美元资金的支持，从一开始就将目光投向了AGI，尽管当时很少有人认真对待它的前景。然而，最初的OpenAI 却举步维艰。 Ilya Sutskever 表示：“当我们创办OpenAI 时，有一段时间我不确定我们将如何继续取得进展。但我有一个非常明确的信念，那就是你不能反对深度学习。不知何故每次遇到障碍，研究人员都会在半年或一年之内找到解决方法。”2016年，OpenAI第一个GPT大规模语言模型问世。从GPT-2到GPT-3，模型的能力越来越强大，证明了这条路线的实际正确性，OpenAI的每一次发布都在不断挑战人们的想象力极限，但Ilya Sutskever透露，当真正让OpenAI走出圈子的ChatGPT发布时，公司内部对它的期望很低：“当你问它一个事实问题时，它会给你一个错误的答案，我认为这会很平淡，人们会说：你为什么要这样做？”将GPT 模型封装在一个易于使用的界面中并免费提供，让数十亿人第一次了解OpenAI 正在构建的内容，在此之前，ChatGPT 背后的大型语言模型已经存在了几个月。 ChatGPT 的成功为创始团队带来了前所未有的关注。 2023 年，OpenAI 首席执行官Sam Altman 花了大部分时间进行了为期一周的外展巡演——，与世界各地的政界人士交谈，并在挤满人的礼堂发表演讲。保持低调的作风，他不像公司其他创始成员那样经常接受采访，而是更关注GPT-4，他没有兴趣谈论自己的个人生活：“我的生活是。很简单。我去上班然后回家。我不做任何其他事情。一个人可以参加很多社交活动，一个人可以参加很多活动，但我不去。 ”

ChatGPT 的工作为他带来了什么今年早些时候，Hinton 公开表达了他对他帮助发明的技术的恐惧：“我从未见过任何具有更高智能水平的东西被低得多智能水平的东西控制。作为Hinton 的学生，Ilya Sutskever 并未对这一说法发表评论，但他对超级智能负面影响的担忧表明他们是同一立场的。随着GPT-4 的更新以及后续一系列更强大的更新大语言模型方面，以Ilya Sutskever 为代表的一些OpenAI 成员越来越担心AI 的可控性，在OpenAI 激烈的“宫斗”事件之前，Ilya 就曾接受《麻省理工科技评论》记者采访，他表示自己的关注点已经不再是构建了。下一代GPT 或图像制作机器DALL-E，但如何防止人工智能失控，他认为人工智能是一种假想的未来技术，具有先见之明。”Sutskever 还告诉我很多其他内容。 ——，他认为ChatGPT 可能是有意识的（如果你眯起眼睛的话），”记者写道。Ilya Sutskever 认为世界需要认识到OpenAI 和其他公司正在努力创造的技术的真正力量。他还相信有一天人类会选择与机器融合。一旦人工智能水平超过人类，人类将如何监管比自己聪明得多的人工智能系统？ OpenAI于2023年7月成立了“Superalignment”团队，目标是在四年内解决超智能AI的对准问题。 Ilya Sutskever 是该项目的领导者之一，OpenAI 表示将投入20% 的算力用于该项目的研究。在接受采访时，Ilya Sutskever 大胆预测，如果模型能够很好地预测下一个单词，就意味着它能够理解导致该单词产生的深刻现实。这意味着，如果AI继续沿着目前的道路发展下去，或许在不久的将来，超越人类的人工智能系统就会诞生。但更令人担忧的是，“超级人工智能”可能会带来一些意想不到的负面后果。这就是“对齐”的意义。该团队的第一个成果于2023年12月发布：使用小型GPT-2级别模型监督大型GPT-4级别模型，可以达到接近GPT-3.5级别的性能，开辟了超人模型的实证研究领域。新的研究方向一致。与此同时，OpenAI 宣布与Eric Schmidt 合作推出1000 万美元的资助计划，用于支持技术研究，以确保超人类人工智能系统的一致性和安全性。

与OpenAI 创始团队决裂但从今天的结果来看，Ilya Sutskever 应该与以Sam Altman 为代表的派别有着无法解决的分歧。因为对于“宫斗事件”的过程，OpenAI董事长兼联合创始人Greg Brockman表示：

周五中午，Sam 收到了首席科学家Ilya Sutskever 发来的短信，要求进行沟通。 Sam 使用Google Meet 参加了会议，会议包括除Greg 之外的整个董事会。伊利亚·苏茨克维尔(Ilya Sutskever) 告诉山姆，他将被解雇，消息很快就会发送。

当天中午，12:19，Greg收到了Ilya Sutskever发来的短信，要求尽快打电话。 12:23，Ilya Sutskever 收到了Google Meet 会议链接。格雷格被告知他将被从董事会中除名（但他对公司至关重要并且将保留他的职位），而萨姆已被解雇。大约在同一时间，OpenAI 发布了公告。

OpenAI 在其声明中表示，奥特曼对董事会的态度不够积极。有人将此解读为：OpenAI内部可能实现了AGI，但没有及时将信息同步给更多人。为了防止该技术在没有安全评估的情况下大规模应用，伊利亚等人按下了紧急停止按钮。据The Information 报道，在OpenAI 当天的全体员工大会上，Ilya Sutskever 承认了员工所说的“政变”。 “你可以说它（政变），但我认为这只是董事会履行职责，”他说。当然，这一切都只是猜测。 11月底，Sam Altman正式回归OpenAI。大局已定。 Ilya Sutskever 并没有立即离开OpenAI，但他也没有再次出现在OpenAI 的旧金山办公室。 Sam Altman表达了对Ilya Sutskever的感谢，并希望继续他们的工作关系：“我尊重并热爱Ilya，我认为他是这个领域的指路明灯，是人类的瑰宝。我对他没有恶意。”零。”

Y Combinator 投资董事总经理Dalton Caldwell 曾回忆道：“我记得Sam Altman 说Ilya 是世界上最受尊敬的研究人员之一，他相信Ilya 能够吸引很多顶尖的人工智能人才。他甚至提到，世界顶级人工智能学者Yoshua Bengio认为，不可能找到比Ilya更好的人选来担任OpenAI的首席科学家。 “最终接任的Jakub Pachocki 可能也是OpenAI 董事会经过深思熟虑的选择。Jakub 于2017 年加入OpenAI，这是他离开学校后的第一份工作。

Ilya 看到了什么关于Ilya 离开OpenAI 的传闻其实已经流传很长时间了。当OpenAI 发生“宫斗”、Sam Altman 被踢出OpenAI 时，有传言称Ilya“看到了一些强大到足以让他担心AI 未来并重新思考AI 发展的东西”。但他究竟看到了什么，目前还没有人知道。

事实上，Ilya 的担忧在ChatGPT 出来后并不新鲜。在2016年至2019年拍摄的一段视频中，伊利亚表示，在AGI实施的那天，AI不一定会讨厌人类，但它们可能会像人类对待动物一样对待人类。人们也许无意伤害动物，但如果你想修一条城际高速公路，你就不用咨询动物的意见，你就去做吧。面对这种情况，AI自然可能会做出类似的选择。这就是Ilya 的AI 理念。这解释了为什么Ilya始终担心AI的进展，并专注于AI对齐（alignment AI with human value）工作。

伊利亚接下来要去哪里？作为中途离开的OpenAI创始成员，马斯克向Ilya Sutskever伸出了橄榄枝，表示Ilya Sutskever应该加入特斯拉或者xAI。这会是他的下一步行动吗？由于加州没有竞业禁止条款，Ilya Sutskever 可以立即去另一家公司工作或创办另一家公司。另一位OpenAI知名员工安德烈·卡帕蒂(Andrej Karpathy)在离开OpenAI后加入特斯拉，随后又从特斯拉回到OpenAI，不久前再次宣布离职。 2023年底“宫斗事件”发生时，卡帕蒂正在休假，完全是一个“局外人”，但他却比伊利亚更早完成了辞职手续。真相是什么？我们不知道我们是否能找到答案。 Ilya Sutskever说的很多话可能有点狂野，但此时此刻，感觉已经不再像一两年前那样“疯狂”了。正如他所说，ChatGPT改写了很多人对未来的预期，将“永远不会发生”变成“会比你想象的更快发生”。

参考链接：

https://twitter.com/sama/status/1790518031640347056

https://twitter.com/ilyasut/status/1790517455628198322