医学图像分割基石-UNet
一 医学图像分割1.1 处理对象1.2 应用方向1.3 应用场景1.4 应用思路1.5 主要存在难点 二 U-Net成果及意义三 U-Net摘要四 引言4.1 前人工作4.2 本篇论文改进思路 五 模型细节5.1 U-Net的输入和输出5.2 加权损失一 医学图像分割
医学图像分割是医学图像处理与分析领域的复杂而关键的步骤,目的是将医学图像中具有某些特殊含义的部分分割出来,并提取相关特征,为临床诊断和病理学研究提供可靠的依据,辅助医生做出更为准确的判断,当前,医学图像分割仍在从手动分割或半自动分割向区自动分割发展。
1.1 处理对象
各种不同成像机里的医学影像,主要有x射线,核磁共振、MRI、UI
1.2 应用方向
医学教学、手术规划、手术仿真及各种医学研究
1.3 应用场景
病变检测、图像分割、图像配准及图像融合
1.4 应用思路
首先对二维切片图像进行分析和处理,实现对人体器官、软组织和病变体的分割提取,然后进行三维重建和三维显示,可以辅助医生对病变体及其它感兴趣区域进行定性甚至定量分析,从而大大提高医疗辅助的准确性和可靠性。
1.5 主要存在难点
数量少,一些挑战赛只提供不到100例数据图片尺寸大,单张图片尺寸大、分辨率高,对模型的处理速度有一定的要求要求高。医学图像边界模糊、梯度复杂,对算法的分割精确度要求极高多模态,以ISLES脑梗竞赛为例,其官方提供了CBF,MTT,CBV,TMAX,CTP等多种模态的数据二 U-Net成果及意义
赢得了ISBI速度快,对一个512*512的图像,使用一块GPU只需要不到一秒的时间成为大多数医学影像分割任务的baselineU-Net结合了低分辨率信息(提供物体类别识别依据)和高分辨率信息(提供精准分割定位依据),完美适用于医学图像分割三 U-Net摘要
主要贡献:本文提出了一个网络和训练策略,使用数据增强,以便更有效的使用可用的带标签样本网络结构:网络由两部分组成,定义一个收缩路径来获取全局信息,同时定义一个对称的扩张路径用以精确定位网络效果:该网络可以用很少的图片进行端到端的训练,处理速度也比较快实验结果:以很大的优势赢得了细胞跟踪赛冠军四 引言
4.1 前人工作
Ciresan等人在滑动窗口设置中训练网络,以某一像素的领域作为输入,用于预测每个像素的类别标签,网络的优点有:
网络具有局部感知能力
用于训练的样本数量远大于训练图像的数量
该网络获得了EM分割挑战的冠军
但网络有两点明显不足:
该网络运行效率很慢,对于每一个领域,网络都要运行一次,且对于领域重叠部分,网络会进行重复运算
网络需要在精确的定位和获取上下文信息之间进行权衡,越大的patch需要越多的最大池化层,这会降低定位的精确度,而小的patch使得网络获得较少的上下文信息。
4.2 本篇论文改进思路
在这篇文章中,在FCN的基础上建立了一个更加优雅的框架,使其仅使用少量训练图片就可以获得更高的分割准确率
改进思想:
设计了一个完全对称的u型结构,可以更好的融合图片特征在上采样部分也包含大量特征通道,使网络能够将全局信息传播到更高的分辨率层采用镜像输入图像的方式进行不全缺失内容设计了加权损失函数
五 模型细节
5.1 U-Net的输入和输出
医学图像是一般相当大,但分割时候不可能将原图大小输入网络,所以必须切成一张张的小patch,在切成小patch的时候,UNet由于网络结构原因适合有overlap的切图,如图,黄色是待分割区域,但是在切图时要包含整个蓝色区域,overlap另一个重要原因是周围部分可以分割区域边缘部分纹理信息,如图,分割结果并没有因为切成小patch而造成分割情况不好。
5.2 加权损失
d1(x)代表图中某一背景像素点到离这个点最近的细胞边界的距离,d2(x)表示离这个像素点第二近的细胞的距离,即在细胞边界附近的像素点给的权重会大一些,离细胞比较远的像素点的权重会小一些,如果同类细胞贴的比较近,可能就会增大训练难度,减少准确率,毕竟卷积会考虑该像素点周围的一些特征,而两个相同的类的细胞贴在一起,就容易误判,所以这种两个相同类贴在一起的细胞边界,给予较大的权重,使得训练之后更准确。
如果觉得《医学图像分割基石-UNet》对你有帮助,请点赞、收藏,并留下你的观点哦!