正文

第一课第三周3-4节--2d和3d分割的优缺点以及如何构建unet模型(代码片段)

Tina姐  Tina姐  2022-12-15  581

关键词：

既然我们已经了解了如何表示 MRI 数据，那么让我们来看看脑肿瘤分割的任务。

分割是定义各种组织边界的过程。在这种情况下，我们试图确定肿瘤的边界。

我们也可以把分割看作是分类三维体中每个点的类别的任务。

二维空间中的这些点称为像素，三维空间中的这些点称为体素。

让我们讨论两种利用 MRI 数据进行分割的方法。

第一种是二维方法

在2D方法中，我们将构建的 3D MRI 体积分解成许多 2D slice(切片)。这些切片中的每一个都被传递到分割模型中，该模型输出该切片的分割结果。

每一个切片都以这种方式通过分割模型，为每一个切片生成一个分割。然后，可以再次组合二维切片，以形成分割的三维输出体积。

缺点

当使用这种方法时，我们可能会丢失重要的3D上下文。

例如，如果一个切片中有一个肿瘤，那么很可能在它邻近的切片中也有肿瘤。

如果我们一次一个切片地传递到网络中，网络无法学习这个有用的上下文。

让我们看看如何用3D方法解决这个问题。

第二种是三维方法

在3D方法中，理想情况下，我们希望将整个 MRI 体积输入分割模型，并得到整个 MRI 的 3D 分割结果。

然而，磁共振成像体积的大小使得它不可能一次全部进入模型。这只会占用太多的内存和计算。

那么，我们能做些什么来让这个模型仍然能够在深度维度上得到大脑皮层的信息呢？

在 3D 方法中，我们将 3D-MRI 体积分成许多 3D 子体积（sub-volume）。每个子体积都有一些宽度、高度和深度上下文。

因此，与二维方法一样，我们可以一次一个地将子体积输入模型中，然后在最后聚集它们，形成整个体积的分割图。

缺点

这种3D方法可以捕捉到一定的上下文信息，但缺点是我们可能仍然会失去重要的空间皮层。

例如，如果一个子体积中有肿瘤，那么它周围的子容积中也可能有肿瘤。

本节学完有作业

作业内容

在作业中，您将学习如何从 MRI 数据中提取子体积。您需要编写一个函数来隔离用于训练的数据的小“立方体”。

作业文件:

吴恩达-医学图像AI 专项课程-作业/第一课/week3/AI4M_C1_W3_lecture_ex_02.ipynb

此作业从展示的是如何从一维数组数组中提取指定长度的数据，该逻辑可以扩展到三维。

此部分作业比较简单，省略~~~

2D UNet and 3D UNet

既然我们已经介绍了二维和三维分割方法，让我们深入研究分割体系结构。

我们将从分割架构开始。

我们将使用2D任务来建立3D任务的分割架构。最流行的分割架构之一就是U-Net。

U-Net最早被设计用于生物医学图像分割，并在细胞跟踪任务中取得了很好的效果。

U-Net最酷的地方在于，它可以获得相对较好的结果，即使有数百个例子。

U-Net架构的名字来源于一个U形的形状。两条路径组成：收缩路径（contracting path）和扩展路径(expanding path)。

收缩路径是一种典型的卷积网络，用于图像分类。它包括反复应用卷积和池运算。这里的卷积运算称为下卷积(down convolution)。

在收缩路径中，我们的特征映射在空间上变得更小，这就是为什么它被称为收缩。

扩张路径在某些方面与收缩路径相反。它通过一系列的上采样和上卷积步骤，使我们的小特征图恢复到图像的原始大小。

它还将每个步骤的上采样表示与收缩路径上相应的特征映射相连接。最后，在最后一步，输出图像中每个像素的肿瘤概率。

在二维方法中，U-Net结构可以训练成2D切片的输入输出对。我们已经介绍了二维U-Net。

让我们看看在3D方法中有3D子体积时我们能做些什么。

我们可以将任何三维子体输入到分割体系结构中，如果我们可以用它们的3D对应物替换所有的2D操作。

这正是对U-Net的扩展名3D U-Net所做的。二维卷积变为三维卷积，二维池化层变为三维池化层。

如果你以前没看过3D卷积也没关系。这里要理解的重要一点是，3D U-Net允许我们输入3D子体积，并获得体积中每个体素的输出，作为肿瘤发生的概率。

如果你不知道 2D U-Net模型怎么扩展到 3D U-Net,可以做一做作业。

作业文件

吴恩达-医学图像AI 专项课程-作业/第一课/week3/AI4M_C1_W3_lecture_ex_03.ipynb

该作业中，将带着你一起构建一个UNet模型。

文章持续更新，可以关注微信公众号【医学图像人工智能实战营】获取最新动态，一个关注于医学图像处理领域前沿科技的公众号。坚持已实践为主，手把手带你做项目，打比赛，写论文。凡原创文章皆提供理论讲解，实验代码，实验数据。只有实践才能成长的更快，关注我们，一起学习进步~

我是Tina, 我们下篇博客见~

白天工作晚上写文，呕心沥血

觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连

第一课第三周5-6节-数据增强以及dice损失函数

既然我们已经讨论了分割体系结构，那么让我们来讨论一种可以应用于这种模型训练的技术，即数据扩充（数据增强dataaugumentation）。我们在前面学过，我们可以对输入胸部X光片的变换，这样每个例子的分... 查看详情

第一课第三周7-10节-ai算法这么棒，为什么我们周围的医院没有使用这些系统？

既然您已经了解了医学成像的分类和分割模型，并且您已经在前面构建了您的胸部x射线分类模型，那么您可能会想知道为什么我们周围的医院或诊所没有使用这些系统。在本课中，您将了解一些挑战和机会，使这... 查看详情

第一课第三周大作业--mri脑肿瘤自动分割教程(代码片段)

...型5.1训练6评估作业文件吴恩达-医学图像AI专项课程-作业/第一课/第一查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周6-10节总结+作业解读(代码片段)

...学习在医学图像分类问题上的一些前沿应用。本文将介绍第一课第一周6-10节的内容。主要讲解构建一个分类模型去识别胸片的肿块。以及分类模型将面临的三个挑战：类不平衡挑战、多任务挑战和数据集大小挑战。本节重点... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周16-18节-如何确保数据集病人不重叠+作业解说(代码片段)

模型测试既然你已经了解了如何训练医学诊断模型，那么让我们来谈谈如何测试这样的模型。接下来你会学习如何测试这样的一个模型。您将学习如何正确使用训练、验证和测试集。以及为了评估你的模型需要强大的groundtrut... 查看详情

吴恩达实验（神经网络和深度学习）第一课第三周，代码和数据集，亲测可运行

代码和数据集已上传到文件中应该可以直接下载吧（第一次上传文件，感觉是），解压后把文件夹拷贝到jupyter工作空间即可注：我对下载的代码的格式稍作了修改，原来定义函数与调用函数在两个单元格里，我直接运行他总给... 查看详情

第二课第一周3-4节-什么是预后？(代码片段)

什么是预后？我们首先要讨论什么是预后，以及为什么预后在医疗实践中很重要。预后是一个医学术语，指预测未来事件的风险。在这里，事件是一个通用术语，它描述了可能发生在个人身上的各种事情。事... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周11节总结(代码片段)

回顾一下医学图像深度学习面临的三个挑战三个挑战我们将讨论医学图像训练算法的三个关键挑战：类不平衡挑战、多任务挑战和数据集大小挑战。对于每一个挑战，我们将介绍一到两种应对方法。类别不平衡：可以... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周13-15节-迁移学习+数据增强

吴恩达-第一课第二周1-7节总结-医学深度学习模型的评估汇总(代码片段)

医学深度学习模型的评估汇总本周我们将深入探讨医学深度学习模型的评估。在医学上，由于决策具有很高的影响力，我们关心的是准确地了解模型何时对患者起作用，什么时候不起作用。您将学习一下指标，包... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周19-20节(代码片段)

...们回顾一下上一节提出的医学图像创建数据集的三个挑战第一个挑战涉及到我们如何使这些测试集独立第二个挑战涉及我们如何对它们进行采样第三个挑战涉及我们如何设置groundtruth让我们来讨论第二个挑战：集合抽样。sampl... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周4-5节总结(代码片段)

4-5节主要是例举了三个深度学习医学诊断案例。本周，我们将直接进入建立一个深度学习模型的任务胸部x光分类。通过这个例子，您将学到的许多想法在许多医学成像测试中都有广泛的应用。本周，我们将从三个医... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周1-3节(代码片段)

欢迎来到医学人工智能专业。如果你已经完成了深度学习专业化或机器学习课程，并且你正在寻找更深入掌握人工智能的应用领域，这是一个很好的专业化学习。要想成为真正优秀的机器学习，最重要的事情之一就是... 查看详情

吴恩达-医学图像人工智能专项课程-第一课第一周1-3节总结(代码片段)

点此了解课程吴恩达新课医学图像AI（AIforMedicine）专项课程推荐欢迎来到医学人工智能专业。如果你已经完成了深度学习专业化或机器学习课程，并且你正在寻找更深入掌握人工智能的应用领域，这是一个很好的... 查看详情

吴恩达-第一课第二周8-10节-什么是置信区间，有什么作用

在这节课中，我们将了解评估医学模型的另一个非常重要的方面，即报告我们的评估中的可变性。我们将研究如何使用置信区间来显示这种可变性。假设一家医院有5万名病人，我们想知道我们的胸部x光模型对每个人... 查看详情

第二课第一周大作业--构建和评估一个线性风险模型(代码片段)

之前教程：第二课第一周第1节-AI用于医学预后简介第二课第一周第2节-做医学预后，你需要掌握什么？第二课第一周第3-4节-什么是预后?第二课第一周第4-7节医学预后案例欣赏+作业解析第二课第一周第8节风险得分... 查看详情