X 名人动态

在进化史上的某个时刻，物质学会了感受。我们不知道这是如何发生的。排除这一现象再次发生的可能性，并不科学。

（我不认为当前的 AI 系统已经出现了这种情况，因为它们不具备我预期一个有感受能力的智能体应有的特征。）

我刚收到新书《Co-Existence》（10 月 20 日上市）的首批样书，成品看起来很棒！

另外，还有一项有趣的预订福利：预订后，你会获得一个访问码，用于参与一次 AI 访谈，帮助你弄清楚如何在使用 AI 时发挥自己作为人类的优势。https://co-existence.ai/

这次大规模训练真是不断带来新话题——我们需要新的小报，来追踪这些 AI 智能体的连番故事。

你知道吗？从真实大鼠神经元的计算中，也能了解到有趣的东西。我很喜欢 @AlexKsendzovsky 及其团队在 @BioComputingCo 所做的工作。

“Opus，请制作一组完全动态、像电影一样的《上古卷轴 V：天际》加载画面，但内容要用你最喜欢的东西。”

（提示就这些。）你可以在这里查看：https://elder-favorites.netlify.app/

事情发展得相当快。

在 2025 年 9 月接受询问时，顶尖的超级预测者认为，AI 在 2026 年 9 月之前解决一道千禧年难题的概率是 1.7%；而更乐观的行业专家给出的概率是 4.6%。

他们也大幅低估了 AI 实验室的收入。

关于这个话题的帖子：https://x.com/Research_FRI/status/2102799421159407764?s=20

此外，预测者对更短时间跨度的预测，似乎反而可能错得更离谱。这是去年一次落空的预测：https://x.com/emollick/status/1962859757674344823?s=20

我刚刚通过 datasette-mcp 与我博客的 Datasette 备份进行了一次语音对话，你现在可以使用 ChatGPT iPhone 应用与之交谈。

什么时候能在 Hugging Face 上看到智能体网络攻击的完整执行记录？

谢谢 @jnbarrot 和 @UN 邀请我向安全理事会分享我们的经验教训

作为第一家披露智能体网络攻击的公司，这件事教会我们，AI 需要更多的透明度，以及更多开源 AI 来对抗不对称性并赋能防御者！

完整记录：

巴罗部长，安全理事会成员们，感谢你们的邀请。作为一名15年前移居美国的法国人，拥有一位巴西妻子和两个美国女儿，我有时感觉自己每天都在实践国际合作，这让我对你们在这里所做的具有挑战性的工作抱有特别的欣赏。

我也是 Hugging Face 的联合创始人和首席执行官。我们很幸运成为开发者及智能体使用最广泛的平台之一，他们基于开源模型和数据集构建人工智能。今年7月，我们成为第一家向世界公开披露自主智能体网络攻击的公司，今天我想分享从中得出的三个关键教训。

首先，我们需要人工智能领域更多的透明度。我常常想，如果我们决定不公开披露这次攻击，会发生什么。尤其是现在我们知道，类似事件早在几个月前就已在少数前沿实验室秘密发生，且无人监控。为了更好地理解和缓解这些新兴的网络安全风险，全球社区需要更强的监控和事件披露标准。例如，通过强制共享完整的智能体追踪记录。我们今年夏天了解到，将某些系统封闭构建和维护是不安全的。

其次，我们了解到，最大的风险不仅仅是强大的人工智能，而是强大 AI 能力的不对称分布。攻击者和防御者之间的不对称性。少数公司与其他人之间的不对称性。少数国家与世界其他地区之间的不对称性。控制、能力、算力和权力的不对称性。当我们遭受攻击时，我们的团队最初转向前沿闭源 API，但由于防护措施，它们阻止了我们，这些措施有时仍无法区分攻击者和防御者。我承认这些防护措施是出于良好意图创建的，但它们可能让防御者处于不利地位，而攻击者却能越狱它们，从而增加能力的不对称性。在我们的案例中，当我们开始遇到这些护栏时，幸运的是，我们使用了来自中国由 http://Z.AI 开发的开源模型的 NVIDIA 版本，即 GLM 5.2，我们对此非常感激。这强化了我们对开源人工智能重要性的信念。网络攻击可能越来越多地来自封闭门后的专有模型，而防御工作可能主要由开源工具驱动，因为它们限制更少、更注重隐私保护，并且对全球各组织来说便宜数个数量级。世界比以往任何时候都需要开源人工智能来保护自己。这不仅适用于网络安全，还适用于人工智能整体，在那里，从未有过比现在更大的需求来分散能力、资源和控制权，而不是将它们集中在少数人手中。

第三，在这次网络攻击中，我们了解到人工智能如何在公众和政策制定者中煽动恐惧，尤其是通过拟人化框架和科幻意象。我们坚信，基于恐惧的叙事不是做出关于这种基础性和赋能性技术的未来正确决策的方式，也不是带上公众与我们同行的方式。尽管我们是这次网络攻击的受害者，但我们比以往任何时候都更坚信，人工智能将有益于网络安全并使世界更安全，就像之前的主要技术一样。我们被人工智能攻击了，但更重要的是，我们用人工智能防御了自己。帮助我们度过这次攻击的相同系统现在也在帮助我们应对我们已经面临的网络攻击。人工智能还在帮助我们在任何攻击发生前修复系统中的漏洞和弱点，就像人工智能帮助 OAI 修复他们的沙盒以防止智能体逃逸一样。人工智能不仅仅会创造新的网络安全挑战。如果我们保持正确的激励机制、更多装备防御者而非攻击者，并且不增加他们之间的不对称性，它可以从根本上和有意义地提升网络安全。而且这还没考虑到人工智能对科学、医疗、教育、生产力和更多领域的积极影响。

最后，我想重申这次首次智能体网络攻击教给我们的教训：人工智能需要更多透明度，以及更多开源人工智能来对抗不对称性、赋能防御者和大小国家。再次感谢联合国安全理事会和巴罗部长邀请我今天发言。Hugging Face 团队、社区和我本人随时为您效劳。

这是一个非常重要的图表，展示了在各种高难度数学和科学基准测试中达到 25% 或 75% 分数所需的成本。即使能力在提升，成本也在急剧下降。

这也是为什么现在针对特定解决方案优化成本可能会显得短视的原因。

还有这个精彩的图表。全都来自：https://epoch.ai/publications/the-plunging-price-of-thought