顶刊MIA 2023！PUNet：参数高效医学图像分割的提示微调

10月前

点击下方卡片，关注“CVer”公众号

扫码加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文搞科研，强烈推荐！

一句话总结

本文提出一种可提示的UNet（PUNet，prompt-able UNet）架构，即参数高效医学图像分割的提示微调方法，性能提升显著！优于SwinUNETR等网络，代码已开源！

论文信息

Prompt Tuning for Parameter-efficient Medical Image Segmentation

单位：斯图加特大学

代码：https://github.com/marcdcfischer/PUNet

论文：https://arxiv.org/abs/2211.09233

研究背景

在自监督方案上预训练的神经网络已经成为在数据丰富、注释稀少的环境中操作的标准。因此，以参数高效但有效的方式，例如在语义分割的情况下，对于新的一组类，将模型微调到下游任务，变得越来越重要。

算法细节

在这项工作中，我们提出并研究了在两个医学成像数据集上实现参数高效但有效的语义分割自适应的几个贡献。依靠最近流行的提示微调方法，我们提供了一种可提示的UNet（PUNet）架构，该架构在预训练后被冻结，但可通过依赖于类的可学习提示token在整个网络中进行自适应。

我们使用专用的密集自监督方案对该架构进行了预训练，该方案基于在线生成的师生组合原型（contrastive prototype assignment，CPA）的作业，以及一个子集的concurrent分割损失。

主要贡献

实验结果

我们证明，所得到的神经网络模型能够在CT成像数据集上缩小完全微调模型和参数高效调整模型之间的差距。

因此，在平均Dice Similarity Coefficient（DSC，以%为单位）中，TCIA/BTCV数据集的完全精细微调和提示微调变体之间的差异仅为3.83pp，CT-ORG数据集的差异为2.67pp，而仅微调对应于6.8M冻结参数的预训练骨干模型的0.85%的提示微调。

CVer——医学影像方向微信技术交流群

截止2024-01-16日，已有超过5000多人加入CVer 医学影像方向的微信技术交流群。大家一起分享、交流、学习，才会学的更快！走得更远！

每天讨论最新最前沿的医学影像技术，还有海量入门知识点交流。涵盖：2D/3D医学图像分割、医学目标检测、医学图像重建、医学图像超分辨率、医学图像合成、U-Net等。

如果你的研究方向是医学影像，或者对医学影像感兴趣，那可以加我微信！我会拉你进医学影像微信群交流学习。扫描下方CVer小助手的微信二维码或者微信号：CVer444，来添加好友。备注：医学影像+地区+学校/公司+姓名

添加好友申请格式（一定要按格式申请）：

研究方向+地区+学校/公司+姓名

重磅！CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看

微信扫码关注该文公众号作者

来源：CVer