Bendi新闻
>
顶刊MIA 2023!PUNet:参数高效医学图像分割的提示微调

顶刊MIA 2023!PUNet:参数高效医学图像分割的提示微调

11月前

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【医疗影像】交流群

扫码加入CVer学术星球可以获得最新顶会/顶刊上的论文ideaCV从入门到精通资料,以及最前沿项目和应用!发论文搞科研,强烈推荐!

在CVer微信公众号后台回复:论文,即可下载论文pdf和代码链接!快学起来!

一句话总结

本文提出一种可提示的UNet(PUNet,prompt-able UNet)架构,即参数高效医学图像分割的提示微调方法,性能提升显著!优于SwinUNETR等网络,代码已开源!

论文信息

Prompt Tuning for Parameter-efficient Medical Image Segmentation
单位:斯图加特大学
代码:https://github.com/marcdcfischer/PUNet
论文:https://arxiv.org/abs/2211.09233
研究背景

自监督方案上预训练的神经网络已经成为在数据丰富、注释稀少的环境中操作的标准。因此,以参数高效但有效的方式,例如在语义分割的情况下,对于新的一组类,将模型微调到下游任务,变得越来越重要。

算法细节

在这项工作中,我们提出并研究了在两个医学成像数据集上实现参数高效但有效的语义分割自适应的几个贡献。依靠最近流行的提示微调方法,我们提供了一种可提示的UNet(PUNet)架构,该架构在预训练后被冻结,但可通过依赖于类的可学习提示token在整个网络中进行自适应。

我们使用专用的密集自监督方案对该架构进行了预训练,该方案基于在线生成的师生组合原型(contrastive prototype assignment,CPA)的作业,以及一个子集的concurrent分割损失。

主要贡献

实验结果

我们证明,所得到的神经网络模型能够在CT成像数据集上缩小完全微调模型和参数高效调整模型之间的差距。

因此,在平均Dice Similarity Coefficient(DSC,以%为单位)中,TCIA/BTCV数据集的完全精细微调和提示微调变体之间的差异仅为3.83pp,CT-ORG数据集的差异为2.67pp,而仅微调对应于6.8M冻结参数的预训练骨干模型的0.85%的提示微调。

CVer——医学影像方向微信技术交流群
截止2024-01-16日,已有超过5000多人加入CVer 医学影像方向的微信技术交流群。大家一起分享、交流、学习,才会学的更快!走得更远!
每天讨论最新最前沿的医学影像技术,还有海量入门知识点交流。涵盖:2D/3D医学图像分割、医学目标检测、医学图像重建、医学图像超分辨率、医学图像合成、U-Net等。
如果你的研究方向是医学影像,或者对医学影像感兴趣,那可以加我微信!我会拉你进医学影像微信群交流学习。扫描下方CVer小助手的微信二维码或者微信号:CVer444,来添加好友。备注:医学影像+地区+学校/公司+姓名

添加好友申请格式(一定要按格式申请):

研究方向+地区+学校/公司+姓名


重磅!CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

来源:CVer

相关新闻

医学顶刊TMI 2024!首个研究医疗AI算法公平性的眼科图像分类数据集顶刊IJCV 2024 | EfficientSCI++:高效的视频单曝光压缩成像重建框架Mamba遇见扩散模型!DiM:无需微调,高分辨图像生成更高效!顶刊TPAMI 2024!PERF:一张2D全景图可合成高质量的360度3D场景顶刊TPAMI 2024!多模态图像修复与融合新突破!DeepM2CDL:多种任务实现SOTA性能顶刊TPAMI 2024!黄高团队提出EfficientTrain++:高效视觉骨干训练方法医学顶刊MedIA 2024 | 残差对齐网络(RAN):多器官的非连续性形变配准顶刊TPAMI 2024!无需全标注,仅用少量涂鸦标注即可获得确定和一致的语义分割预测结果246篇文献!参数高效微调最新综述发布,让大模型不再「巨无霸」高级!顶刊里的孟德尔随机化套路,2天教你学会……(快收藏)让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述ICML 2024 | 超越LoRA!港科大提出FourierFT:新型傅立叶微调!训练参数大幅减少江小涓:在人工智能国际顶刊的文章发表数上,2016年起中国企业的文章发表超过了高校;产业界顶级的科学家向高校回流与时代趋势不符探秘!美国顶级私校学生的高效学习方法顶刊IJCV 2024!基于概率表征的半监督对比学习框架顶刊TPAMI 2024!白翔团队:将CLIP模型转换为端到端文本识别器仅微调0.02%参数,性能接近全量微调!上海交大推出高效微调统一新范式仅微调0.02%参数,性能接近全量微调!上交大推出高效微调统一新范式故宫排队3小时,一幅画火了1000年,网友:这才是中国人最顶级的审美!顶刊IJCV 2024!通过提问学习基于知识的新物体识别你常做的12件小事,正悄悄偷走你的视力;牛磺酸接连登上三大顶刊!Nature新论文揭示牛磺酸抗肥胖的分子机制|本周论文推荐填补空白!黄荷凤院士团队一项综合性无创产前筛查技术成果登上医学顶刊顶刊TPAMI 2024!清华提出ProCo,无限Contrastive Pairs的长尾对比学习生信发文不用愁,顶刊都在用的生信套路你肯定用得上!
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。