这篇论文来自Yoshua Bengio的实验室，而标题并不起眼「Neural Machine Translation by Jointly Learning to Align and Translate」。 或许很多人都没有听说过这篇论文，但它是NLP中最伟大的里程碑之一，已经被引用了29K次（相比之下，Transformer为77K）。

嵌套学习突破AI持续学习瓶颈，或开启AGI新时代。 借鉴人类联想记忆，嵌套学习让AI在运行中构建抽象结构，超越Transformer的局限。谷歌团队强调：优化器与架构互为上下文，协同进化才能实现真正持续学习。这篇论文或成经典，开启AI从被动训练到主动进化的大门 ...

谷歌研究科学家 David Ha：Transformer 是新的 LSTM。 2017 年 6 月谷歌发布论文《Attention is All You Need》时，我们或许都没有意识到它提出的 Transformer 架构将带来多少惊喜。 在诞生至今不足四年的时间里，Transformer 不仅成为自然语言处理领域的主流模型（基于 Transformer ...

2017年，八位Google研究员发表了一篇论文，需要一个标题。威尔士人Llion Jones脱口而出："Attention Is All You Need"——灵感来自披头士的"All You Need Is Love"。他后来回忆说，这个主意"花了五秒钟"，"我没想到他们真会用这个名字"。