基于双任务一致性的半监督医学图像分割
论文总结:
基于双任务一致性的半监督医学图像分割
背景:大多数现有的半监督学习(SSL)算法都倾向于通过扰动网络和/或数据来规范模型训练。观察到多/双任务学习关注具有固有预测扰动的不同级别的信息。
目的:这篇论文主要致力于“明确的构建任务级正则化”。
解决方法:首次提出了一种新的“双任务一致性半监督框架”。
具体来说就是使用了一个双任务深度网络,它联合预测了一个像素级的分割地图和一个目标的几何感知水平集表示。通过一个可微的任务变换层,将水平集表示法转换为一个近似的分割映射。同时,我们引入了一种在水平集衍生的分割映射和直接预测的分割映射之间的双任务一致性正则化方法。
主要思想:是建立全局水平集函数回归任务和像素级分类任务之间的一致性,以考虑几何约束并利用未标记数据。
框架由三个部分组成:第一部分是双任务分割网络。具体地说,我们将一个分割问题建模为两种不同的表示(任务):预测一个像素级的分类图和获得一个全局水平的水平集函数,其中零水平让是分割轮廓。我们使用一个双分支网络来预测这两种表示,并使用一个CNN来预测水平集函数。将全局信息和几何约束嵌入到网络中,以获得更好的性能。该框架的第二部分是一个可微的任务转换层。我们使用平滑的透明质层层(Xue等。以可微的方式将水平集函数转换为分割概率映射。第三部分是一个组合损失函数监督和无监督学习,我们设计一个双任务一致性损失函数最小化的差异预测像素分割概率地图和概率地图转换从水平集函数,可以用来提高完全监督学习的性能,也可以用于利用无监督学习。
框架应用实践:提出的框架已应用于两种不同的半监督医学图像分割任务:MRI的左心房分割和CT的胰腺分割。
优点:1)在完全监督设置下,我们的双任务一致性正则化优于双任务的单独和联合监督。
- 在半监督设置下,所提出的框架在几个临床数据集上优 于最先进的半监督医学图像分割框架
3)与现有的方法相比,所提出的框架需要更少的训练时间和计算成本。同时,它还直接适用于任何半监督的医学图像分割场景。如果任务之间存在可微的转换,则很容易扩展到使用其他任务。
结论:总的来说,我们提出了一种简单而有效的具有双任务一致性的半监督医学图像分割方法,该方法通过鼓励对不同任务下相同输入的一致预测来利用未标记数据。
大量实验表明,我们的方法可以通过合并未标记数据来极大地提高性能。同时,我们的框架优于最先进的半监督学习方法。