Bendi新闻
>
浙大/华科提出EVE-NeRF,基于“视角-极线”信息纠缠的可泛化隐式神经辐射场

浙大/华科提出EVE-NeRF,基于“视角-极线”信息纠缠的可泛化隐式神经辐射场

7月前

最近来自浙江大学和华中科技大学的研究人员提出 EVE-NeRF 模型,一种具有泛化能力神经辐射场模型用于少样本的 3D 视图合成。模型以一种纠缠的方式聚合视角-极线特征,并引入场景不变的外观连续性和几何一致性先验,在泛化性 3D 视图合成测试中达到 SOTA,并且在真实世界中具有多种应用场景。

在 AR、VR、场景设计、自动驾驶以及电影制作等多个领域中,神经辐射场 NeRF 已经成为一种革命性的技术,它通过从一组二维图像中重建高质量的三维场景,为这些领域带来前所未有的真实感和沉浸感。


然而,传统的 NeRF 通常只适用于优化单个场景,泛化到新场景需要重新训练。另外,NeRF 的优化一般需要同一场景的 50-100 张多视角高质量图片,这在某些场景中是难以获取的。


因此,跨场景训练、少量视角需求的泛化性 NeRF 方法可提高模型的应用范围和灵活性,并节约时间和资源。


以往的泛化性 NeRF,往往需要经过三个步骤:从图像中提取 2D 特征,学习与辐射场对齐的可泛化特征,以及基于体渲染的光线合成。


然而这些方法在学习可泛化特征的阶段,没有同时关注视角和极线两个维度的特征,导致信息交互不足,最终影响新视角的渲染结果。

▲ EVE-NeRF 与仅有视角维度聚合(左上)、仅有极线维度聚合(右上)对比


另外,以往模型仅仅依靠跨场景数据集提供泛化能力,难以保持 3D 场景的外观的连续性和几何的一致性。

▲ EVE-NeRF 和其他泛化性 NeRF 对比


对此,来自浙江大学和华中科技大学的研究人员提出 EVE-NeRF 模型,只需要 3-10 张图片输入,通过纠缠聚合视角和极线两个维度的特征实现跨场景的 3D 视图合成。

论文地址:
https://arxiv.org/abs/2311.11845

项目地址:

https://github.com/tatakai1/EVENeRF


该模型有效地缓解了由仅有视角或极线维度交互所可能导致的固有几何和外观约束的缺失问题,从而进一步提高了 3D 表示的泛化能力。



模型结构

模型 pipeline 如下图所示:

EVE-NeRF 的主要流程涉及三个步骤。首先,在每个源视图中沿着整个极线采集采样点。然后,视角-极线交互(VEI)和极线-视角交互(EVI)模块的交替进行纠缠特征聚合。最后,采用 NeRF 解码器和体渲染来预测目标光线的颜色值。



实验部分
2.1 更高的渲染质量

在实验部分,作者进行了泛化性和 Few-shot 两种环境的测试,并在多种 3D 视图合成数据集进行测试,包括 LLFF、Blender、Shiny 和 DTU,并与以往发表在各大顶会的泛化性 NeRF 的 SOTA 模型进行比较。经定量测试,EVE-NeRF 模型在多项指标中均表现出了最好的效果。

▲ 泛化性定量测试(10张图片输入)


▲ Few-shot 能力定量测试(3张图片输入)

▲ DTU 数据定性对比

2.2 更高效的模型结构

EVE-NeRF 在性能方面优于类似的双分支网络,例如下图中 Naïve Dual Transformer 和具有交叉注意力的 Dual Transformer。另外,相比于目前的具有极线/视角聚合的 SOTA 方法,EVE-NeRF 不仅渲染速度更快且模型存储更小。

▲ 双分支网络定性对比

2.3 更强的几何外观感知能力


基于几何一致性和外观连续性先验,模型学习到了更强的几何外观感知能力。模型中的邻接注意力和交叉视图注意力分数蕴含了丰富的深度信息和视角信息。

更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·
·

微信扫码关注该文公众号作者

来源:PaperWeekly

相关新闻

Sora场景转「3D资产」!浙大CAD&CG全重实验室提出文本转3D新SOTA:多功能、可拓展宇宙人(1493期)比亚迪&中国电信开启“卫星+汽车”新场景;欧洲火箭的至暗时刻;华为Pura 70首次实现北斗卫星发送图片信息解码万部短剧起名:一场关乎中国人“完美人生”的极致狂欢浙大等团队提出全新「自我对比」策略,有效提高大模型的反思效果外媒:欧盟召开今年首场峰会,对华问题仍然是“最烫手的山芋”清华教授带队,来场古建纸上City Walk!畅销400万册的“给孩子系列”新书发布UCOSY优可齐创始人堵晓伟:围绕“人、货、场”洞悉精品母婴连锁的增长机遇“所想即所得”变革3D分割!浙大等团队联合推出基于LLM的3D物品分割极寒低温「冻瘫电动车」充电站变坟场!特斯拉像死掉的机器人!下雪不要开电车外出!“哈耶普斯麻”顶流顾问聚集香港!英语学习节重磅开幕!还有科创、标化、艺术、医学专场分享.....饶毅:国内引进的一批国际正教授几乎被“清零”!西湖大学国际正教授已超北大清华,除浙大外,大部分国内大学都接近放弃招聘国际正教授“川普在开玩笑” 众议长:没人觉得拜登辩论会吸可卡因 总统拜登和前总统川普将于周四进行2024大选的首场面对面辩论更新场 x 导筒 | 七夕观影+黑胶活动 · 相恋的人在「场」同频奥运冠军,成了嫁香港豪门的“入场券”?郑钦文创造历史背后,奥运冠军们面对的「隐藏赛场」应该被了解更多 | Feel Good 周报欧盟宣布了!一场“身份危机”的劫难足浴店凶案:一场没有“阴谋”的情杀背后丨戏局全素人、无底妆、不投流——SK-II带来一场「反常规」的品牌自播吴晓波×季克良:一场关于“跨越”的对话情色场「人妻诱惑」的背后,是无数被迫入局的无辜女性……我和初恋谈了一场“单身式恋爱”一场“混乱式冷战”已经开启,中国将如何自保?专访|程亮:经历一场“繁花”的洗礼苹果这部新短片,打造了一场看起来最「不公平」的竞赛 | Feel Good 周报
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。