Oct 27, 2025

「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破 这两天，VentureBeat 一篇报道在 Hacker News 上引发热议。 颠覆性论文《Attention is all you need》的作者之一，现任 Sakana AI CTO 的 Llion Jones 在近日的 TED AI 大会上表示他已经厌倦了 Transformer。 是什么，让这位 Transformer 的创造者发出了如此言论？ 他说：「尽管（该领域）从未有过如此多的关注、资源、资金和人才，但这在某种程度上导致了我们正在进行的研究变得狭隘。」他认为，罪魁祸首是来自投资者的回报要求以及研究人员在过度拥挤的领域中争相脱颖而出的「巨大压力」。 当然，不得不承认，这个言论并不新鲜。但考虑到 Llion Jones 的身份，还是颇为让人惊讶也更引人重视。 如前所言，Jones 是论文《Attention is all you need》的作者之一。不仅如此，也正是他将这个后面改变了世界的 AI 架构命名为「Transformer」。 注意该论文的所有作者皆为共一作者，名字以随机方式排列 现在，作为总部位于东京的 Sakana AI 的 CTO 和联合创始人，Jones 却正在放弃自己的造物。他说：「我个人在今年年初做出了一个决定，我将大幅减少我在 Transformer 上花费的时间。我现在正明确地探索和寻找下一个重大突破。」 资金更多，创新却更少？ 他说，研究者们正在不断检查自己是否被研究相同想法的竞争对手「抢先」(scooped)，学者们也选择安全、易于发表的项目，而不是高风险、具有潜在变革性的项目。 实际上，我们在近日的报道中也发现了两个比较显著的案例。 VAE 时代终结？谢赛宁团队「RAE」登场，表征自编码器或成 DiT 训练新基石 无 VAE 扩散模型！ 清华 & 可灵团队「撞车」谢赛宁团队「RAE」 其二则是智谱的 Glyph 与深度求索的 DeepSeek-OCR 撞车，都研究了用视觉方式来 token 化文本的方法。 针对这种情况，Llion Jones 进一步解释说：「如果你现在正在做标准的 AI 研究，你必须假设大概有三、四个其他团队在做非常相似，甚至完全一样的事情。不幸的是，这种压力损害了科学，因为人们仓促发表论文，这降低了创造力。」 他从 AI 自身中引出一个类比，即「探索与利用」(exploration versus exploitation) 的权衡：当一个系统过度「利用」而「探索」不足时，它会找到平庸的局部最优解，同时错失更优越的替代方案。他认为：「我们几乎可以肯定，AI 行业目前就处于这种情况。」 这背后的含义发人深省。Jones 回忆起 Transformer 出现前的那段时期，当时研究人员们正无休止地调整循环神经网络 (RNN，这是之前的主导架构）以获取微小的增量收益。 当 Transformer 出现后，所有这些工作突然显得无关紧要。他提出了问题：「你认为，如果那些研究人员知道像 Transformer 这样的东西即将出现，他们会花多少时间试图改进循环神经网络？」 他担心该领域正在重复这种模式。「我担心我们现在正处于这样一种境地：我们只专注于一种架构，不断对其进行排列组合和尝试不同的东西，而真正的突破可能近在咫尺。」 《Attention is all you need》诞生于自由，而非压力 为了强调他的观点，Jones 描述了 Transformer 得以诞生的条件，从而这与当今的环境形成了鲜明对比。他说，这个项目是「非常有机的、自下而上」的，诞生于「午餐时的交谈或在办公室白板上的随意涂鸦」。 Jones 回忆道：「关键在于，我们最初实际上并没有一个成熟的想法，但我们有自由真正花时间去研究它…… 更重要的是，我们没有来自管理层的任何压力 —— 没有压力要求我们必须做某个特定项目，或者必须发表多少篇论文来提升某个特定指标。」 Jones 暗示，那种自由在今天是普遍缺失的。 不知道 Meta 的研究者对此有何看法。 研究自由胜过百万美元年薪？ Jones 提出了一个解决方案：调高「探索旋钮」(explore dial)，并公开分享研究结果，即使这会带来竞争代价。他承认自己立场的讽刺性。「听到 Transformer 的作者之一站在舞台上告诉你他已经受够了 Transformer，这可能听起来有点争议…… 但这在某种程度上是合理的，对吧？除了其他七个人之外，我研究 Transformer 的时间比任何人都长。」 Jones 表示，在 Sakana AI，他正试图重现 Transformer 出现之前的环境，进行受自然启发的 (nature-inspired) 研究，并且将追逐论文发表或与对手直接竞争的压力降至最低。他向研究人员提供了来自工程师 Brian Cheung 的一句箴言：「你只应该做那些如果你不做就不会出现的研究。」 一个例子是 Sakana 的「连续思维机器」(continuous thought machine)，它将类脑同步机制整合到了神经网络中，参阅机器之心报道《连续思维机器来了！Transformer 八子之一创企推出，让 AI 不再「一步到位」拍脑袋做决定》。 提出这个想法的一名员工告诉 Jones，如果是在以前的雇主或学术职位上，他会面临质疑和压力，被认为是在浪费时间。在 Sakana，Jones 给了他一周时间去探索。这个项目最终大获成功，被 AI 顶级会议 NeurIPS 接收为 Spotlight 论文。 Jones 甚至表示，在招聘方面，自由胜过薪酬。「这是吸引人才的一种非常、非常好的方式。」他谈到这种探索性环境时说。「想一想，有才华、聪明、有抱负的人，会自然而然地寻找这样的环境。」 前些天 The Information 报道称，Sakana AI 将以 25 亿美元估值筹集 1 亿美元，这或许将为其研究理念赢得更多资金支持。 Transformer 很成功，但也可能正在阻碍 AI 的下一个突破 不仅如此，Llion Jones 还暗示 Transformer 可能已成为其自身成功的受害者。他说：「当前技术如此强大和灵活的事实阻止了我们去寻找更好的（技术）。不难理解，如果当前的技术更差，就会有更多的人去寻找更好的替代品。」 他谨慎地澄清，他并非在贬低正在进行的 Transformer 研究。「在现有技术上仍有大量非常重要的工作要做，并将在未来几年带来巨大价值。我只是说，鉴于我们目前拥有的人才和资源，我们完全有能力做得更多。」 他最终传达的信息是合作而非竞争。Jones 总结道：「坦率地说，从我的角度来看，这不是一场竞赛。我们都有相同的目标。我们都希望看到这项技术进步，以便我们所有人都能从中受益。因此，如果我们能够共同调高探索旋钮，然后公开分享我们的发现，我们就能更快地实现目标。」 这一观点也是网友们关注和讨论的核心，在 Hacker News 上，有不少人分享了自己的看法。 AI 探索问题的高风险