量子位-2024年度AI十大趋势报告-241219

- 2024年，AI大模型架构创新成为趋势，尤其是对Transformer架构的优化与挑战日益明显。

- 由于Transformer的算力需求和资源消耗呈指数级增长，新的混合架构逐渐受到关注，试图兼顾其优势并解决算力瓶颈。

- RWKV和Mamba等新架构的涌现，标志着AI领域对架构创新的迫切需求，推动混合模型成为未来发展方向。