[LG]《Kuramoto Orientation Diffusion Models》Y Song, T. A Keller, S Brodjian, T Miyato... [Caltech & Harvard University] (2025)
Kuramoto Orientation Diffusion Models:面向方向丰富图像的非线性扩散生成新范式
• 创新点:利用生物神经系统中相位同步原理,将Kuramoto模型引入扩散生成框架,针对周期性角度空间的方向密集数据(如指纹、纹理)设计非各向同性扩散过程。
• 前向过程:通过全局或局部耦合的振荡器相位同步,逐步将数据引导至低熵的von Mises分布,实现结构化“破坏”,有效保留全局和局部方向一致性,避免传统各向同性扩散快速丢失结构信息。
• 反向过程:利用学习得到的周期性score函数,实现相位“去同步化”,层级式生成图像——先构建全局结构,再细化局部细节,符合粗到细的生成规律。
• 技术细节:采用wrapped Gaussian转移核和周期性感知神经网络(正弦嵌入)保证角度变量的周期几何特性,局部耦合增强空间相关性,显著提升建模效率和生成质量。
• 实验验证:在SOCOFing指纹、Brodatz纹理及地形等方向密集数据集上,Kuramoto模型以较少扩散步数实现优于标准VP扩散模型的FID和CLIP-MMD分数;在CIFAR-10等通用数据集表现同样具有竞争力,特别是在低步数采样下优势明显。
• 额外应用:扩展至地球气候科学球面数据和Navier-Stokes流场角度数据,展示同步动力学对多领域周期性数据建模的广泛适用性。
• 局限与展望:训练阶段需模拟前向马尔可夫链带来计算负担,未来可借助预计算与缓存优化;同步驱动的生成过程为神经脉冲数据等生物信号建模提供新路径。
心得:
1. 将生物学中同步现象作为结构先验,打破了传统扩散模型线性、高斯假设,提供了针对周期性角度空间数据的专属生成机制。
2. 非线性耦合动态实现的结构化信息破坏与恢复,显著提升了方向密集图像的生成效率和样本质量,体现了“物理启发”在生成建模中的威力。
3. 生成过程的层级可解释性强化了对复杂图像结构演化的理解,有助于设计更具可控性和透明度的生成模型。
详情🔗arxiv.org/abs/2509.15328
代码🔗github.com/KingJamesSong/OrientationDiffusion
生成模型扩散模型Kuramoto模型神经网络周期性数据图像生成机器学习同步动力学