肺炎作为一种常由肺部远端细菌感染引发的疾病，在重症监护环境中需要快速精准的诊断，而及时启动抗菌治疗的关键在于快速识别和量化肺部深处的致病菌数量。现有成像技术如 X 光和 CT 扫描虽能识别肺部浸润灶，但并非专为细菌检测设计，结果往往滞后 48-72 小时；而 OEM 技术虽能实时获取体内原位光学活检图像，加速诊断，但海量图像的实时视觉分析对医护人员而言颇具挑战，可能延误治疗。

EmiNet 的创新之处在于其双流编码器 - 解码器架构，整合了 Transformer 和卷积神经网络（CNN）的优势，可同时捕捉局部 - 全局的外观和运动特征。其中，多模态跨通道注意力（MMCCA）模块能有效融合细菌的外观与运动信息，提升分割精度 —— 通过将外观特征转化为关注运动的表征，增强对细菌运动模式的识别。该模型在处理 OEM 图像序列时，一条流处理原始图像以提取外观特征，另一条流处理光流序列以捕捉运动特征，两者经编码器处理后，在解码器中通过 MMCCA 模块整合，并结合跳跃连接恢复细节，最终生成高分辨率的分割结果，进而确定细菌的位置坐标。

图1： 为真实 OEM 图像的连续帧，展示两个样本中细菌随时间的运动，红圈标注细菌位置，一个主动移动，一个静止但有闪烁模式。

 由于标注医学图像成本高、耗时长且需专业知识，导致带标注的 OEM 细菌图像稀缺，研究团队开发了合成数据集来训练 EmiNet。他们利用无细菌的真实 OEM 肺部图像作为背景，结合医学专家的输入和成像设备的物理特性，模拟了两种细菌运动模式：一种是细菌在随机起始和终止帧间以随机游走方式移动，另一种是细菌在固定位置随机帧中出现（模拟因成像设备光纤包层导致的 “闪烁” 现象），同时还加入了仅出现一次的异常类细菌物体以提升模型鲁棒性。为验证合成数据的真实性，研究进行了视觉图灵测试，3 名医学专家对 20 组真实细菌图像和 29 组合成细菌图像进行辨别，结果显示专家的识别准确率最高仅约 52.3%，多数情况下难以区分合成与真实图像，证实了合成数据的高度逼真性。

图2： 是 EmiNet 模型的整体架构，包含处理 OEM 图像序列和光流序列的双流，通过 3D 卷积、Transformer 提取特征，MMCCA 模块融合，解码器生成分割图。

图3： 是多模态跨通道注意力（MMCCA）模块的结构，展示外观特征和运动特征的处理及融合过程。

 实验结果表明，EmiNet 在合成数据集和真实数据集上均表现优异。在合成数据上，其 Dice 评分达 0.862，优于 3D UNet、TransBTS 等主流 3D 分割模型，对两种运动模式细菌的 F1 分数和平均端点误差（AEE）也更优，能更好捕捉局部和全局运动特征；在真实数据集上，与现有无监督方法（如贝叶斯方法）和其他监督模型相比，EmiNet 在细菌计数与临床标注的相关性上提升显著，达 0.892，较当前最优的 OEM 细菌检测方法提高 6.8%，F1 分数也提高 2.2%。消融实验进一步证实，运动流、Transformer 模块和 MMCCA 模块的结合显著提升了模型性能，其中 MMCCA 模块在融合外观和运动特征时，计算复杂度低于传统方法，更利于模型训练和测试。

图4： 展示两种运动模式和异常类细菌物体，模式 1 细菌在帧 2-5 移动，模式 2 在固定位置随机帧出现，异常物体仅出现一次。

图5： 是合成数据集上细菌分割的定性比较，展示原始序列、TransBTS 和 EmiNet 的分割结果及真值，绿色标模式 1，蓝色标模式 2

这项研究不仅通过合成数据解决了标注数据稀缺的问题，还借助 EmiNet 的创新架构实现了移动细菌的高效检测，为肺炎等疾病的实时诊断提供了新工具，有望加速临床干预，改善患者预后。未来，研究团队计划进一步优化 EmiNet 中 Transformer 架构的计算效率，探索更高效的变体，以提升其在实时应用和资源受限环境中的适用性。

参考文献：Demirel M, Mills B, Gaughan E, et al. EmiNet: Moving bacteria detection on optical endomicroscopy images trained on synthetic data[J]. Computers in Biology and Medicine, 2025, 196: 110678.