Sutton 近期在 Amii（阿尔伯塔机器学习学院）发表演讲，指出当前的深度学习方法存在根本上的缺陷，进而分享了他对更好的深度学习的愿景，并将新的范式命名为 Dynamic Deep Learning。他在该愿景下提出了反向传播算法，解决了当前持续学习中模型可塑性丧失的问题，并为未来能适应动态环境的深度学习网络指出了可行的方向。

　　当前深度学习有什么缺陷？微调将来不存在了？Dynamic DL 是什么？

　　大型语言模型会在大型通用训练集上进行训练，然后在针对特定应用或满足政策和安全目标的较小数据集上进行微调，但最后在网络投入使用前会冻结其权重。就目前的方法而言，当有新数据时，简单地继续对其进行训练通常是无效的。新数据的影响要么太大，要么太小，无法与旧数据适当平衡。

　　1、Sutton 在演讲的开头就直观地介绍了他对深度学习的愿景，他将其称为 Dynamic Deep Learning（动态深度学习），而这种动态是为了让深度学习适应持续学习的环境。

　　① Sutton 强调了持续学习的重要性，即学习应该在每个时刻都在进行。持续学习更接近自然学习过程，所有自然系统（如动物和人类）都在持续学习，而不是在特定阶段学习。

　　② 当前的深度学习是瞬态学习（Transient Learning），其在一个特殊的训练阶段学习，且算法会在持续学习环境中失败，失去可塑性，产生灾难性遗忘，并在强化学习策略中崩溃。

　　② Backbone 是PG·电子网络中已经学习且对当前功能重要的部分，应当被保护和保留。Fringe 则是网络中动态和探索性的部分，它试图生成对 Backbone 有用的特征。

　　3、Dynamic DL 的网络是动态地逐步构建的，通过逐个单元的增长来实现，而非预先设定的固定结构。如果 Fringe 生成的特征对 Backbone 有用，它就可以成为 Backbone 的一部分。

　　5、Sutton 强调他在演讲中的分享的工作仅仅是实现 Dynamic DL 的第一步，尚不完整。他的想法建立于许多已完成的工作，部分研究已经发表，而其他案例则出现在别人的论文中。

　　1、持续反向传播算法是 Sutton 团队提出的一种反向传播的变体，解决标准深度学习方法在持续学习环境中遇到的可塑性丧失问题.....

　　关注