海南响应式网站建设哪里好鄂州手机网站建设

海南响应式网站建设哪里好,鄂州手机网站建设,郴州网络推广公司,长尾词挖掘工具点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入#xff01;作者简介王彬旭#xff0c;哈佛大学 Kempner 自然与人工智能研究所研究员#xff0c;本科毕业于北京大学元培学院物理学方向。她的主要研究兴趣包括视觉神经科学#xff0c;以及生成模型的理论机制与其在神经科…点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入作者简介王彬旭哈佛大学 Kempner 自然与人工智能研究所研究员本科毕业于北京大学元培学院物理学方向。她的主要研究兴趣包括视觉神经科学以及生成模型的理论机制与其在神经科学中的应用。内容简介我们构建了一个解析框架用于理解扩散模型训练过程中生成分布的演化规律。基于高斯等价原理我们求解了线性去噪器与卷积去噪器的全批量梯度流动力学Gradient flow并对所得的概率流常微分方程Probability flow ODE进行积分最终得到生成分布的解析表达式。该理论揭示了一条普适的逆方差谱定律特征模式或傅里叶模式达到目标方差所需的时间满足关系 τ∝λ-1τ为时间λ为方差。这意味着高方差粗粒度结构的学习完成时间通常要比低方差细粒度细节快多个数量级。将分析扩展至深度线性网络与线性卷积网络后我们发现权重共享仅会改变学习速率加快学习进程但无法消除偏差而局部卷积则会引入性质完全不同的偏差。在高斯数据集与自然图像数据集上的实验表明基于深度多层感知机MLP的U型网络UNet中上述谱定律依然成立。然而卷积U型网络Convolutional U-Nets表现出多种模式近乎同步快速出现的特征这表明局部卷积对学习动力学具有重塑作用。这些研究结果凸显了数据协方差在扩散模型学习顺序与速度调控中的核心作用同时也提示需进一步深入探究局部卷积所引入的独特归纳偏差。论文地址https://arxiv.org/pdf/2503.03206论文解读本研究聚焦扩散模型的学习动态过程核心探索其频谱层面存在的学习速率差异即频谱偏置问题。扩散模型在过去几年已在多个领域取得卓越成就涵盖图像、视频、形状及语言等方向。在这一通用范式下研究流程可概括为收集图像、视频、分子等各类数据输入数据集后训练生成模型学习数据分布再通过采样从习得的分布中获取新的样本。但这一过程存在显著的未解之谜习得的分布与训练数据分布之间的关联尚未明确或者说输入的离散数据点为何最终会转化为连续分布。另一个关键问题是数据本身的自然结构如何影响学习与采样的动态过程。核心研究疑问在于训练过程中扩散模型如何逐步逼近目标分布哪些特征更难学习或需要更长时间习得习得的分布与网络架构之间存在怎样的关联本研究试图构建一个解析框架以揭示训练过程中习得分布的变化规律。首先回顾扩散模型的工作机制在训练过程中score 网络(score network)的参数沿梯度流方程(gradient flow ODE)迭代在训练数据上优化降噪损失(denoising score matching loss)从而逐渐逼近数据的 score 函数对数密度梯度 ∇logp(x;σ) 训练完成后在采样过程中样本沿习得的 score 方向遵循概率流动力学(Probability flow ODE)得到最终习得分布。由于学习与采样的动态过程相互耦合嵌套直接求解难度很大。所以如果希望获得解析理解理论层面需对系统进行简化。此前研究中我们探讨了习得 score 函数的结构特征我们发现训练良好的网络其 score 函数在较长时间内可通过高斯线性 score 函数有效逼近而对 delta 分布等更尖锐的 score 函数逼近效果较差。理论结果表明在噪声强度noise level较大或者说噪声图片远离原本分布的场景下高斯线性 score 函数是理想的近似。基于上述观察我们提出简化模型假设去噪器模型denoiser为输入的线性函数且不同噪声水平使用独立的参数。这一假设使整个系统可解学习过程梯度流gradient flow求解更简便因损失与权重呈线性关系即便使用多层线性网络deep linear network也可借助深度线性网络的理论求解采样方程同样是一个线性方程在权重矩阵可交换commute的前提下可以在共有的特征基底上分别积分。研究中我们还考虑了多种模型变种包括残差连接、更深层的线性网络及线性卷积网络等相关理论均适用于这些场景并可求解。在最简单的单层网络情形下整个系统拥有闭式解closed form solution我们推导了网络的参数在各训练时间点的解析解以及生成分布在每个训练时刻的解析结果。其他模型变种的解析结果已在论文中详细呈现此处不再展开。这一场景下的核心结果如下线性模型场景下训练过程中任意时间点的生成分布均为高斯分布且其协方差矩阵covariance可在数据集主成分的基上分解核心的动态变量为各主成分的方差各个主成分方差的变化可以用解析解预测曲线显示在方差上升和方差下降的模式中均有高方差成分收敛速度更快低方差成分收敛速度较慢的规律即逆频谱偏置定量分析表明收敛时间与训练数据在对应模式的目标方差呈近似逆幂律关系幂次约为-1即近似呈反比。我们还推导出网络结构与习得分布之间的一系列关联一般线性网络最终习得的是数据的最优高斯近似线性卷积网络最终习得平稳高斯过程stationary Gaussian processes也即数据的最佳平移不变近似但忽略了傅立叶模式之间的相关性使用局部卷积核的卷积网络会习得更加局部的平稳高斯过程忽略了远程交互。我们对四种网络结构的权重学习及分布演变动态过程进行了求解线性以及深度线性网络的权重沿数据主成分呈指数收敛或 Sigmoidal 曲线收敛习得分布的收敛普遍存在逆频谱偏置线性卷积网络的权重以及生成的分布沿着傅立叶模式收敛不同傅立叶模式同样存在逆频谱偏置局部卷积网络与现实的卷积神经网络和 UNet 最相近的学习过程是卷积核参数在图像块patch的主成分上指数收敛而其整体数据分布的收敛过程因核尺寸较小导致许多傅立叶模式耦合于是许多模式会同时学习和涌现因此频谱偏置比较弱。为验证理论结果我们在自然图片数据上训练了深层的非线性扩散模型追踪生成样本在训练数据主成分上的方差变化。实验结果显示多层感知机MLP一类的扩散模型与理论预测高度吻合高方差方向收敛更快低方差方向收敛更慢收敛时间与目标方差的关系可通过逆幂律较好拟合但实际网络的频谱偏置小于理论预期低方差模式的学习速度快于预期。本研究可总结为以下核心结论若去噪模型为线性网络其参数演变沿数据主成分展开习得数据分布的训练动态可以解析求解。分布演变通常先沿前几个主成分方向拉伸再扩展至压缩后续主成分方向收敛时间与方差呈逆幂律关系。本研究提供了可解析求解的典型案例及多种网络结构变种的延伸。其应用价值在于未来可以借助解析理论对损失函数的加权方案loss weighting和噪声策略noise schedule进行有理论指导的优化。本期文章由支昕整理往期精彩文章推荐关于AI TIMEAI TIME源起于2019年旨在发扬科学思辨精神邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索加强思想碰撞链接全球AI学者、行业专家和爱好者希望以辩论的形式探讨人工智能和人类未来之间的矛盾探索人工智能领域的未来。迄今为止AI TIME已经邀请了2000多位海内外讲者举办了逾800场活动超1000万人次观看。我知道你在看提出观点表达想法欢迎留言点击阅读原文查看作者直播回放