谷歌发布Transformer继任者「Titans」，突破上下文记忆瓶颈

2025-01-16 16:47:03

导读谷歌在推出影响AI行业长达8年的Transformer架构后，发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限，通过引...

谷歌在推出影响AI行业长达8年的Transformer架构后，发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限，通过引入长期神经记忆模块，在测试时实现更好的记忆功能。该架构能够将上下文窗口扩展到200万tokens，在语言建模、常识推理、基因组学和时序预测任务上表现优异。

Titans架构包含三种变体：记忆作为上下文（MAC）、记忆作为门（MAG）和记忆作为层（MAL），分别通过不同的方式将神经记忆融合到系统中。实验结果表明，Titans架构比Transformer和近年来的现代线性循环模型更有效，且在处理非常长的序列时表现更佳。此外，谷歌还详细介绍了长期神经记忆模块的训练和检索方法，以及如何并行化训练过程。

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时候联系我们修改或删除，多谢。

标签：

上一篇:Apple Card成棘手难题？高盛或提前终止与苹果合作

下一篇:最后一页

谷歌发布Transformer继任者「Titans」，突破上下文记忆瓶颈

猜你喜欢

最新文章