研究图片，由浦项科技大学提供。
2023年3月10日乳腺癌毫无疑问，女性患者的发病率最高。此外，在6种主要癌症中，乳腺癌是唯一一种在过去20年呈上升趋势的癌症。如果乳腺癌能及早发现和治疗，那么存活的机会就会更高。然而，在第三阶段后，存活率急剧下降到75%以下，这意味着早期发现并定期进行医疗检查对于降低患者死亡率至关重要。最近，浦项理工大学的一个研究小组开发了一种人工智能网络超声系统准确检测和诊断乳腺癌。
一组来自浦项科技大学的研究人员由教授带领Chulhong金(融合IT工程系、电气工程系和机械工程系)，以及Sampa Misra和Chiho Yoon(电气工程系)开发了一个基于深度学习的多模态融合网络，用于使用b型和应变弹性超声图像对乳腺癌进行分割和分类。该研究结果发表在《生物工程与转化医学》杂志上。
超声检查是评价乳腺病变的重要医学影像手段之一。计算机辅助诊断(CAD)系统能够自动分割和识别病变的特征，为区分良恶性病变提供了很大的帮助。
在这里，该团队提出了基于深度学习(DL)的方法来分割病变，然后使用b模式和应变弹性成像(se模式)图像将其分为良性或恶性。首先，该团队构建了一个“加权多模态U-Net (W-MM-U-Net)模型”，其中使用加权跳过连接方法，在不同的成像方式上分配最佳权重以分割病变。此外，他们还提出了一种“多模态融合框架(MFF)”，用于裁剪b型和se型超声(US)病变图像，以分类良性和恶性病变。
MFF由一个综合特征网络(IFN)和一个决策网络(DN)组成。与其他最近的融合方法不同，提出的MFF方法可以同时从使用b模式和se模式US图像训练的卷积神经网络(CNN)中学习互补信息。CNN的特征是使用多模态拥抱网模型集成的，而DN则使用这些特征对图像进行分类。
根据对临床资料的实验结果，该方法预测5次试验中有3次是良性的7例患者，5次试验中有5次是恶性的6例患者。这意味着所提出的方法优于传统的单模态和多模态方法，并可能提高放射科医生在美国图像中乳腺癌检测的分类准确性。
Chulhong Kim教授解释说:“我们能够通过确定每个输入模态的重要性并自动给出适当的权重来提高病变分割的准确性。”他补充说:“我们同时训练每个深度学习模型和集成模型，以获得比传统的单模态或其他多模态方法更好的分类性能。”
这项研究得到了韩国科学和信息通信技术部、教育部和电子通信研究所(ETRI)的支持。
2023年3月9日
