这段 Eye on AI的访谈视频深度探讨了为什么 Transformer 架构无法承载 AI 的未来，并详细介绍了一种名为 Power Retention（幂次保留机制） 的全新架构解决方案...
这段 Eye on AI的访谈视频深度探讨了为什么 Transformer 架构无法承载 AI 的未来，并详细介绍了一种名为 Power Retention（幂次保留机制） 的全新架构解决方案 。
受访者是 Jacob（Manifest AI 的联合创始人，卡内基梅隆大学计算机学士、Mila 实验室 AI 博士）。
以下是视频内容的超详细拆解（包含时间戳索引）：
一、 当前 Transformer 架构的核心瓶颈：长文本的二次方成本
参数扩展与输入扩展的脱节 [05:18]：
The Sequence Knowledge #870: Liquid Models and the Search for a Post-Transformer Architecture
智象未来CEO梅涛：多模态模型Token的毛利率，远高于语言模型-36氪
Chipmunk: Training-Free Acceleration of Diffusion Transformers with Dynamic Column-Sparse Deltas
How To Get 10x Out Of AI Coding Tools (And Why Most Teams Don't)
Token AI: cosa sono e come ridurne il consumo
MiniMax teases M3 model with new sparse attention mechanism, 15.6X long-context response speed boost
Tokenomics: il costo reale dell’agentic AI quando esce dalla demo - AI4Business
Tether AI open-sources TurboQuant, reducing LLM KV cache memory use by 5x
Parallax: A Parameterized Local Linear Attention That Keeps Softmax and Adds a Learned Covariance Correction Branch
这期播客是 Jacob Effron 主持的 Unsupervised Learning 嘉宾是 AI 领域的传奇研究员 Lukasz Kaiser （他是奠定现代 AI 基础的...
Since its introduction, the transformer architecture has become the cornerstone of modern artificial...
A clear guide to the new architectures battling the transformer’s memory and inference bottlenecks.
Inside one of the msot promising non-transformer architectures.
在算力成本大幅下降之前，视频生成初创公司尽量不要在To C上和巨头公司打起来。
An agentic exchange must preserve a structured interaction: assistant turns interleave reasoning with one or more tool calls, and…
