https://www.youtube.com/watch?v=aiR7F4jqjXY

在这期由红杉资本(Sequoia Capital)主持的《Training Data》播客节目中,初创公司 Engram 的联合创始人 Dan Biderman 和 Jessy Lin 深入探讨了 “记忆(Memory)与持续学习(Continual Learning)” 在 AI 领域的核心作用,并分享了他们对未来 AI 发展趋势的独特见解:

核心论点与核心 premise

将知识直接“烤入”模型权重(Weights): Engram 的核心前提是:不要一味地将越来越长的提示词强行塞入上下文窗口,或者完全依赖外挂的检索增强生成(RAG)。相反,应该将团队、公司或个人的特有知识直接训练并内化到模型的权重中,让 AI 模型像工作了多年的资深员工一样,本能、直觉式地了解这家公司 01:11。

记忆与持续学习是硬币的两面: 目前的 Frontier 实验室主要聚焦于预训练和后训练(Post-training),将模型打造成在数学和代码上具有高 raw intelligence 的工具。而 Engram 认为,AI 未来的瓶颈在于理解“全新且不断演变的上下文”,并主张模型应该处于“永远在训练”的状态 01:04。