1 项目基本信息

    项目名称：多元医学影像数据智能分析交换技术与系统应用

    项目批准号： U1908210

    主要参与者：李豪杰，白琮，周滟，刘志，汪晓妍，宋雪霏，马晓瑞，高忠派，所世腾

    依托单位：上海交通大学

    参与单位：大连理工大学，浙江工业大学

2 研究背景和意义

    优质医疗资源分布不均、分级诊疗实施困难是目前公共卫生医疗领域所面临的最严重问题之一。传统远程医疗系统在一定程度上解决了医疗资源分布不均的问题，但仍未打破“患者-医院-医生”之间点对点的藩篱。建立医学影像数据智能分析模型与智能语义检索模型，搭建新一代远程医疗信息存储架构，并实现医学影像数据的诊断无损传输，提出深度稀疏学习模型，能够促进多元医学数据的关联分析，优化医疗资源分配，助力健康中国。

3 主要研究成果

3.1 理论研究成果

3.1.1 多元医学影像数据处理

提出基于协同特征提取和高低特征集成的协同显著性检测，首先将目标图像及其协同图像输入到个体特征提取模块中，产生多层次的个体特征，然后，将协同特征提取模块应用于所有高层个体特征，生成协同特征，获取协同图像间信息，最后，我们构建了一个高低特征集成模块，该模块将目标图像的协同特征和多层次的个体特征集成在一起，利用图像内的个体信息丰富协同特征。提出用于物联网系统中部署介质的准确高效的一维条形码检测器，该模型可以同时检测和输出一维条形码和产品代码的准确定位结果，我们的方法使用基于膨胀卷积的特征提取器，然后将其与系统特征合并层组合以创建U形网络，它预测了多通道特征图，该特征图在使用模型生成的置信度图和非最大抑制进行阈值化之后，随后会产生定位结果，该模型可以充当基于相机的条形码解码器的预处理模块。提出了使用主动学习和深度学习进行多通道图像分类的框架，我们使用三种主动学习算法（包括最小置信度，余量采样和熵）作为选择标准，在此框架的基础上，我们进一步引入了图像池，以充分利用数据增强生成的图像，实验表明该框架具有更好的性能。我们提出了一个包含精细匹配模块和上采样模块的几何和上下文相关的优化网络（GCGR-Net），GCGR-Net学会利用像素的关系来获得高分辨率的密集视差，该视差与数据的内容无关，该模型通过上采样模块获取上下文信息，即中心像素及其附近像素之间的关系，以对较低分辨率的视差进行上采样，最终的视差图通过迭代优化模型逐步获得。提出了时间心理视觉调制中非负矩阵分解的生成对抗网络，我们提出了基于生成模型的深度学习网络把图像分解成一组基，这组基可以通过线性组合的方式重建原始图像，为了提升图像重建的效果，使用对抗生成网络进行模型训练，利用判别网络产生有效的监督信号。我们提出了一种新型的全自动3D框架，可基于深度学习从高分辨率多对比度MR序列中同时分割颈动脉，首先，为身份映射设计了一种最优的信道拟合结构，并将一种新颖的3D残留U-net用作基本网络，其次，使用斑块级和全局级策略对高分辨率MR图像进行训练，并根据结构特征优化两个预分割结果，第三，将优化的预分割结果与贴片裁剪的MR体积数据进行级联，并进行训练以分割颈动脉腔和壁。

3.1.2 多元医学影像数据分析

根据热成像视频的特性，我们通过Fluent软件开发了一个二维模型，用于模拟人类的热残留物。验证实验的结果表明，仿真模型可以有效地模拟不同接触材料和接触时间下真实场景中的散热过程。在公共安全领域，建立的热量残留模拟模型可以帮助警察分析肇事者的热量踪迹信息。我们提出了一种新颖的基于端到端的三维基于注意力的残差神经网络（ResNet）架构，以单次T2加权流体衰减倒置恢复来分类皮层下血管认知障碍的不同亚型序列。我们的目标是开发卷积神经网络，以提供方便有效的方法来帮助医生诊断和早期治疗SVCI的不同亚型。我们提出了一种渐进式补丁定位模块（PPL），以更准确地找到可识别的补丁。具体而言，这项工作采用分类模型来查找第一个最有区别的补丁，然后删除最显着的区域以帮助定位下一个最有区别的补丁，并且可以通过重复此过程来找到前K个有区别的补丁。另外，为了进一步提高补丁级别特征的表示能力，我们提出了特征校准模块（FCM）。该模块利用全局信息来有选择地强调区分特征并抑制无用的信息，从而可以获得更鲁棒和有区别的局部特征表示，从而帮助分类网络实现更好的性能。我们重点介绍了基于深度学习的最新跨模式检索方法的要点，尤其是在图像文本检索上下文中，并根据不同的嵌入方法将它们分为四类。本文结尾显示了对两个基准数据集的最新交叉模式检索方法的评估。

3.2 应用研究成果

3.2.1 多元医学影像系统及设备

    我们提出了一种名为“跨模态糖尿病食物检索”的新系统，该系统基于从可穿戴设备中捕获的多峰数据来实现实时饮食通知，在该系统中，我们提出了一种新的基于图的跨模态检索方法，称为具有排名损失的图相关分析，该方法可在多模态数据中找到潜在信息。我们使用图卷积网络以模态形式挖掘深层潜在信息，并以更精细的粒度表示数据，它使用视觉和生理信息来估计用户尝试获取的食物是否具有致糖尿病性，并详细反馈原因，在进行的大量实验表明，所提出的交叉模式检索方法优于最新方法，而我们的方法可以在防止糖尿病患者获得不当食物方面取得可靠的结果。我们提出了一种用于智能手机照片清晰度测量的自动局部区域选择算法，其中，局部纹理、深度、显著性以及图像间差异作为主要特征，选择最优的局部区域，然后在该区域内测量清晰度。我们提出了一种便携式非接触式方法，可以通过分析RGB红外传感器的呼吸特性来筛选戴着口罩的人的健康状况，我们首先使用面部识别技术为戴着口罩的人完成了呼吸数据捕获技术，然后，将具有关注机制的双向GRU神经网络应用于呼吸数据，以获取健康检查结果，验证实验的结果表明，我们的模型可以在真实数据集上以83.69％的准确性，90.23％的敏感性和76.31％的特异性识别呼吸系统的健康状况，这为鼓励进行受控的临床试验提供了理论基础，从而有助于应对当前的COVID-19大流行。

3.2.2 多元医学影像应用

    我们对甲状腺相关性眼病的人工智能CT筛选模型和临床条件下的测试。从医院总共进行了1435次计算机断层扫描，这些CT扫描通过重新采样并提取感兴趣区域进行预处理，对来自193名TAO患者和715名健康个体的CT进行了三维ResNet模型训练，建立了有前途的基于轨道CT的TAO筛查AI模型，并在临床条件下通过了应用测试，这可以提供具有进一步验证的新的TAO筛选工具。我们提出了一个基于动态时间扭曲的优化框架，以自动和准确地选择对鲁棒BR估计最有用的区域，而不管这些干扰因素如何，根据经验，开发了一种基于动态时间规整的信号质量指标，称为呼吸信号质量指标，为了解决由于大运动而引起的面部区域未被检测到的问题，基于面部跟踪或通过RGB热图像进行运动检测的两种不同方法用于获取呼吸信号，并通过重新连接的信号来测量BR，在我们的框架中，提出了一种时域处理程序，该程序包含递归最小二乘（RLS）算法的去趋势，带通滤波器的归一化和用于提取主流信号的去噪，对36位受试者进行的验证实验结果表明，在实际条件下，该方法明显优于最新的BR估算方法，我们的研究可用于通过远程准确的呼吸频率检测来协助医务人员进行诊断和治疗，并在一定程度上减少医务人员与患者之间的密切接触。

4 项目资助的代表性成果清单

1、Pengfei Zhou; Cong Bai; Jie Xia; Shengyong Chen; CMRDF: A Real-Time Food Alerting System Based on Multimodal Data, IEEE Internet of Things, 2020, 1(1)：1-1. SCIE. 

2、Zheng Jiang; Menghan Hu; Zhongpai Gao; Lei Fan; Ranran Dai; Yaling Pan; Wei Tang; Guangtao Zhai; Yong Lu; Detection of Respiratory Infections Using RGB-Infrared Sensors on Portable Device, IEEE Sensors, 2020, 20(22)：13674-13681. SCIE. 

3、Adnan Sharif; Guangtao Zhai; Jun Jia; Xiongkuo Min; Xiangyang Zhu; Jiahe Zhang; An Accurate and Efficient 1D Barcode Detector for Medium of Deployment in IoT Systems, IEEE Internet of Things, 2020, 1(1)：1-1. SCIE. 

4、Jin Ai; Menghan Hu; Guangtao Zhai; Xiao-Ping Zhang; Yunlu Wang; Liming Cai; Qingli Li; Wendell Q.Sun; Rapidly developing human heat residue model under various conditions based on Fluent and thermal video, Infrared Physics & Technology, 2020, 110. SCIE. 

5、Fangyu Shi; Zhaodi Wang; Menghan Hu; Guangtao Zhai; Active Learning Plus Deep Learning Can Establish Cost-Effective and Robust Model for Multichannel Image: A Case on Hyperspectral Image Classification, Sensors, 2020, 20(17)：4975. SCIE. 

6、Xuefei Song; Zijia Liu; Lunhao Li; Zhongpai Gao; Xianqun Fan; Guangtao Zhai; Huifang Zhou; Artificial intelligence CT screening model for thyroid-associated ophthalmopathy and tests under clinical conditions, International Journal of Computer Assisted Radiology and Surgery, 2020, 1(1)：1-1. SCIE. 第九标注

7、Qi Chen; Yao Wang; Yage Qiu; Xiaowei Wu; Yan Zhou; Guangtao Zhai; A Deep Learning-Based Model for Classification of Different Subtypes of Subcortical Vascular Cognitive Impairment With FLAIR, Frontiers in Neuroscience, 2020, 14(557)：1-1. SCIE. 

8、Hong Zhang; Haojie Li; Zhihui Wang; Yuxin Yue; Shenglun Chen; Geometry and context guided refinement for stereo matching, IET Image Processing, 2020, 14(12)：2652-2659. SCIE.

9、Tiantian Yan; Shijie Wang; Zhihui Wang; Haojie Li; Zhongxuan Luo; Progressive learning for weakly supervised fine-grained classification, Signal Processing, 2020, 171：1-1. SCIE. 

10、Lushuang Chen; Menghan Hu; Ning Liu; Guangtao Zhai; Simon X. Yang; Collaborative use of RGB and thermal imaging for remote breathing rate measurement under realistic conditions, Infrared Physics & Technology, 2020, 111：1-1. SCIE.