Bendi新闻
>
从4篇经典论文看扩散模型在图上的研究进展
从4篇经典论文看扩散模型在图上的研究进展
9月前
图上的扩散模型
2.1 EDP-GNN
2.1.1 训练过程
作者通过对图的邻接矩阵添加高斯噪声来定义噪声分布。具体来说,对于某一个 噪声规模(对应的噪声为 ),作者将噪声分布 定义为:
可以看到,作者只考虑邻接矩阵的上三角部分,这是因为作者主要考虑的是无向图的生成。
就可以训练得到一个神经网络 来求解逆向扩散过程(降噪过程)。文中作者定义了一个新的图神经网络,但与本专题所探索的内容关系不大,故在此不过多赘述。
2.1.2 采样过程
在采样过程中,作者首先通过标准正态分布采样得到一个噪声邻接矩阵:
其中,。随后,搭配训练过程中训练得到的神经网络 使用朗之万动力学采样算法,就可通过迭代,一步步得到生成图。
2.2 NVDiff
2.2.1 模型架构
2.2.2 采样过程
2.3 DIGRESS
2.3.1 扩散过程
其中,以及 。
利用贝叶斯公式,正向扩散的后验概率可写为:
其中 表示转移矩阵 的转置矩阵。
在训练过程中,需要一个降噪神经网络 ,以一个扩散 步后的噪声图为输入,去预测干净图。使用交叉熵损失函数作为优化目标即可:
其中 分别表示 预测的节点种类矩阵和边种类矩阵。
2.3.2 采样过程
在采样过程中,我们首先采样一个完全随机的图 ,然后使用训练得到的 预测一个干净图 ,再根据计算的后验概率 采样得到图 , 然后依次迭代生成最终的图。
2.4 EDGE
2.4.1 扩散过程
参考文献
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者
来源:PaperWeekly
相关新闻
ICLR上新 | 强化学习、扩散模型、多模态语言模型,你想了解的前沿方向进展全都有从移民局公布的H1B数据上看,今年海底捞……解读近期科学家们在合成生物学研究领域取得的最新进展!今日Arxiv最热NLP大模型论文:AllenAI最新研究:让AI从简单学起,竟然能解决难题?惊险!4岁男童从5楼坠楼 摔在混凝土上…从 Moonshot 崛起看中国大模型:资本其实没有大家想的那么急从「开城」到「无图」:大模型砸下来的钱好赚吗?【模板】从A药换成B药的真实世界研究,也可以发表SCI论文上医治未病,从神医扁鹊的故事看合规管理价值英国从没输过?遇事不决看英国,“日不落”在历史上为何总能做对选择题......今日arXiv最热NLP大模型论文:COLING2024发布数据集揭示从莎士比亚时期开始的性别偏见NSR | 多糖基薄膜在湿态环境下的力学性能和稳定性研究获得新进展从电视剧《长相思》,看剧作中人物“悲剧性”的塑造(上)一个孩子越来越好,从父母的4次退出开始……候静波教授:介入医生的“第三只眼睛”——OCT的最新研究进展 | CCIF 2024[照片] 云上的日子--从拉萨到丽江的漂泊Science|新研究从结构上揭示DNA促旋酶解开DNA缠结之谜几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling最后的猛犸象种群,是如何从地球上消失的?从签证的细节,看北方邻居的性格Nat Med:靶向KRAS治疗癌症的最新进展和研究方向超越OpenAI,谷歌重磅发布从大模型蒸馏的编码器Gecko从“案板上的鱼肉”到“木须肉”——政治漩涡中的TikTok柬埔寨运河——从根子上斩断越南的反骨