提出Decoder-Decoder新型架构，名为YOCO（You Only Cache Once）。 YOCO仅缓存一次键值对，可大幅降低GPU内存需求，且保留全局注意力能力。 一张图来看YOCO和标准Transformer的比较。 在处理512K上下文长度时，标准Transformer内存使用是YOCO的6.4倍，预填充延迟是YOCO的30.3倍，而 ...

我们是否正在掉入中等智能陷阱？一个关于大语言模型 “逆转诅咒” 的分析与缓解方法。 来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法 ...