BiomedParse：一站式解决生物医学图像分析的多模态挑战

生物医学图像分析对于生物医学发现至关重要，它涉及从细胞器到器官等多个尺度的生理、解剖和功能研究。传统的图像分析方法通常将分割、检测和识别等子任务分开处理，尽管这些方法表现出色，但它们忽略了这些相互依赖任务之间的联合学习和推理机会。例如，许多图像分析工作仅关注分割，忽略了来自相关任务的关键语义信息，如元数据和对象类型名称，这导致了次优的分割效果，并给用户带来了负担，因为许多最先进的分割工具需要用户提供目标对象位置的紧密边界框。

近期，一项发表于Nature Methods的研究成果引发广泛关注，研究团队成功开发出BiomedParse这一生物医学基础模型，为生物医学图像分析领域带来重大变革。

BiomedParse创新性地采用图像解析的统一框架，通过联合学习实现了分割、检测和识别的协同进行。该模型的训练依托大规模数据集BiomedParseData，此数据集包含超600万个图像、分割掩码和文本描述三元组，由45个公开的生物医学分割数据集整合而来，并借助GPT-4生成规范语义标签，为模型学习提供了丰富、准确的数据支持。

研究内容

图 1 BiomedParse和BiomedParseData概览

从图1可以清晰看到BiomedParse的架构和数据分布情况。其架构包含图像编码器、文本编码器、掩码解码器和元对象分类器，各组件协同工作。在数据方面，不同成像模态的图像-掩码-描述三元组数量分布广泛，如CT有155万个、MRI有155万个等，这充分体现了数据集的多样性和大规模性，为模型在多种模态下的训练和应用奠定了坚实基础。

图 2 大规模生物医学图像分割数据集上的比较

在性能表现上，BiomedParse堪称卓越。从图2的大规模生物医学图像分割数据集对比中可以看出，在跨九种成像模态的图像分割任务里，BiomedParse的Dice评分超越了MedSAM和SAM等现有方法。在更具挑战性的病理学和CT等模态中，其优势更为突出。而且，BiomedParse仅通过文本提示就能实现高效分割，相比传统需要大量用户操作来指定边界框的方法，具有更强的可扩展性。例如，在对42张结肠病理图像的细胞分割测试中，BiomedParse使用单个文本提示“结肠病理图像中的腺体结构”，就达到了0.942的中位Dice评分，而SAM和MedSAM在没有紧密边界框输入时，中位Dice评分均低于0.75。

此外，BiomedParse还具备精准检测无效文本提示的能力。通过计算Kolmogorov-Smirnov（K-S）检验的P值，它能够有效识别出如在胸部X光图像中识别脑组织这类不合理的请求，从而避免错误的分析结果，这一特性在图2f、g、h、i中得到了充分展示。

图 3 对象识别评估性能比较

在物体识别方面，BiomedParse同样表现出色。如图3所示，它能够在无需用户文本提示的情况下，准确识别和分割图像中的所有物体。与Grounding DINO等先进系统相比，BiomedParse在精度、召回率和F1评分上都有显著提升。在对不同数量物体的图像进行识别时，BiomedParse的优势更加明显，这表明它能更好地应对复杂的图像分析场景。

图 4 在真实世界细胞分割数据上的评估

研究团队利用来自普罗维登斯健康系统的真实世界数据对BiomedParse进行评估，结果令人惊喜。在识别病理切片中的免疫细胞和癌细胞区域时，BiomedParse的注释与病理学家的注释高度一致，有望在实际临床应用中极大地减轻临床医生的工作负担，相关结果在图4中得到了直观呈现。

尽管BiomedParse已展现出巨大的应用潜力，但研究团队也明确了未来的改进方向，包括实现个体对象实例的区分、支持与用户的交互式对话以及拓展到三维图像分析等。随着这些改进的逐步实现，BiomedParse将为生物医学研究和临床实践提供更加强有力的支持。

原文链接：https://doi.org/10.1038/s41592-024-02499-w