医学部倪东教授团队在Medical Image Analysis上发表文章
发布时间:2023-12-31
近日,我院倪东教授团队,联合英国牛津大学、苏黎世联邦理工学院、浙江大学、深圳市人民医院和度影医疗等单位,在国际医学图像分析领域的顶级期刊Medical Image Analysis(IF=10.9)上,发表了一篇题为“Segment anything model for medical images?”的高质量论文。我院倪东教授和深圳市人民医院超声科董发进主任为共同通讯作者, 我院博士生黄雨灏和助理教授杨鑫为共同第一作者,深圳大学为第一署名单位。
为了充分评估分析Segment Anything Model(SAM)在医学影像分割上的泛化性能,并对其进行基于医学影像微调的分析,本研究收集并标准化了53个公开数据集,最终构建了一个包含了18种影像模态、84种生物医学领域分割目标和125个配对组合(分割目标-模态)、1050K 2D图像和6033K分割掩膜的大型医学影像分割数据集COSMOS 1050K(图1)。
通过全面的实验分析,文章的主要结论为:
1. SAM在某些特定分割目标上表现出色,但在其他情况下表现不稳定、不完美甚至会完全分割失败。
2. 与ViT-B(91M模型参数量)相比,基于ViT-H(636M模型参数量)的SAM在医学影像分割任务上有较高的整体性能;
3. SAM在手动提示下(尤其是框提示模式)的表现优于Everything模式。
4. SAM可以高效辅助专家标注,实现更高的标注质量并减少标注时间。
5. SAM的性能与边界复杂性、强度差异等因素相关- -边界越复杂、前景背景的差异越低,SAM对医学目标的感知能力越差。
6. 使用医学数据对SAM进行微调,可使其在平均DICE性能提高4.39%(ViT-B)和6.68%(ViT-H)。
同时,文章开源了相关代码和模型,希望能帮助读者更好地了解SAM基础模型在医学影像中的分割性能,并最终促进新一代的医学影像分割基础模型的发展。
图1 COSMOS 1050K数据集展示
论文链接:https://www.sciencedirect.com/science/article/pii/S1361841523003213
上一篇: 深圳大学生物医学工程学院在“2023国家高性...
下一篇: 汪天富教授团队在消化道疾病智能辅助诊断领...