关键词：
让我们回顾一下上一节提出的医学图像创建数据集的三个挑战
- 第一个挑战涉及到我们如何使这些测试集独立
- 第二个挑战涉及我们如何对它们进行采样
- 第三个挑战涉及我们如何设置 ground truth
让我们来讨论第二个挑战： 集合抽样。
sampling
假设我们从数据集中抽取了一个测试集。有时，测试集的大小只是整个数据集的一小部分，比如10%。
其他时候，在人类比较研究中，由于测试集需要由人类注释，所以测试集大小的瓶颈是期望多少个示例？
通常，测试集至少包含数百个医学人工智能研究的例子。
对测试集进行采样的挑战在于：当我们从数据集中随机抽取数百个样本的测试集时，我们可能不会抽取任何实际患有疾病的患者。
在这里，我们可能不会抽样到任何患有 mass 标签的例子。因此，我们无法在这些阳性的样本下测试模型的实际性能。
这尤其是医学数据的一个问题，我们可能已经有一个小的数据集，而不是每种疾病的很多例子。
在创建测试集时解决这个问题的一种方法是对测试集进行抽样，这样我们就至少有少数类的 X% 的样本。
在这里，少数类为 mass 类。通常我们把 X 设置为50%。
因此，对于100个样本的数据集，我们将有50个 mass 样本和50个非 mass 样本。这就保证了研究将有足够的数据来对模型在非疾病和疾病实例上的表现进行良好的评估。
一旦我们对测试集进行了抽样，通常情况下在训练之前对验证集进行抽样。
因为我们希望我们的验证集反映测试集中的分布，所以通常使用相同的采样策略。我们可能会决定在验证集中再次有100个例子，其中50个是mass，50个是非mass。
最后，剩下的病人可以包括在训练集中。由于测试和验证集被人为地抽样，以获得 mass 样本的大部分，因此训练集将具有更小的mass示例。
总结
对dataset进行训练集、验证集和测试集划分时。我们应该先划分测试集，使正负样本有一个较好的比例，比如各50%。接着我们再划分验证集，应该和测试集有类似构造。其余的数据可划分到训练集中。
如何确定ground truth
针对数据集的第三个挑战，在给数据集打标签时，如果医生之间存在分歧应该怎么办呢？
这里提供两种办法：
- 多数投票决定
我们可以采用协商一致的投票方式(consensus voting)。协商一致投票背后的想法是利用一组人类专家来确定ground truth。
例如：在一种情况下，我们可以让三名放射科医生检查胸部X光片，并确定是否存在肺炎。如果三个人中有两个说是，那么ground truth为1。
一般来说，答案将是三位放射科医生的多数票。或者，我们可以让三个放射科医生进入一个房间，讨论他们的解释，直到他们达成一个单一的决定，然后可以作为ground truth。
- 提供额外信息来辅助确定
第二种方法是使用一个更明确的检验(more definitive test)，它提供额外的信息来确定ground truth。
例如，为了确定某个病人的胸部x光片是否有 mass，可以进行的一个更明确的检查是CT扫描。
CT扫描显示潜在异常的三维结构，从而给放射科医生更多的信息。如果一个mass 在CT上被证实，我们就可以把这个基本的事实记录在胸部x光片上。
在我们之前看到的皮肤病学研究中，测试集的基本事实是通过皮肤病变活检确定的。这是一种医疗程序，将疑似癌症的皮肤样本取出并在实验室中进行检测，然后将检测结果用于设置照片图像的ground truth。
我们现在研究了两种方法来确定 ground truth 或参考标准，即协商一致投票和进行更明确的检查。
对于第二种方法，困难在于我们可能没有这些额外的检查可用。并不是每个接受胸部x光检查的人都要进行CT扫描，也不是所有有潜在可疑皮肤病变的人都要做活检。
因此，在现有数据集中获得可靠的 ground truth 通常必须使用第一种方法，即在现有数据上获得一致的 ground truth，这是许多医学人工智能研究使用的策略。
总结
我们讨论了算法测试的三个挑战以及医学领域的一些解决方案。
我们已经了解了如何在创建训练验证和测试集时按患者进行划分，如何在测试集中对少数群体样本进行最小百分比的抽样，以及如何使用一致投票或更具权威性的检查来确定ground truth。
祝贺你完成第一周的学习。
第一周的学习结束啦。做一个小总结：
主要学习有关多个医学领域任务的深度学习模型的示例，并了解了训练和测试您自己的高性能胸部x光解释模型所需的所有技术。你将在作业中实现这些想法，并拥有自己的胸部x光解释模型。
下周，你将学习如何评估你所建立的模型~~
文章持续更新，可以关注微信公众号【医学图像人工智能实战营】获取最新动态，一个关注于医学图像处理领域前沿科技的公众号。坚持已实践为主，手把手带你做项目，打比赛，写论文。凡原创文章皆提供理论讲解，实验代码，实验数据。只有实践才能成长的更快，关注我们，一起学习进步~
我是Tina, 我们下篇博客见~
白天工作晚上写文，呕心沥血
觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连
吴恩达-医学图像人工智能专项课程-第一课第一周11节总结(代码片段)
回顾一下医学图像深度学习面临的三个挑战三个挑战我们将讨论医学图像训练算法的三个关键挑战：类不平衡挑战、多任务挑战和数据集大小挑战。对于每一个挑战，我们将介绍一到两种应对方法。类别不平衡：可以... 查看详情
吴恩达-医学图像人工智能专项课程-第一课第一周13-15节-迁移学习+数据增强
回顾一下医学图像深度学习面临的三个挑战三个挑战我们将讨论医学图像训练算法的三个关键挑战：类不平衡挑战、多任务挑战和数据集大小挑战。对于每一个挑战，我们将介绍一到两种应对方法。类别不平衡：可以... 查看详情
吴恩达-医学图像人工智能专项课程-第一课第一周4-5节总结(代码片段)
...了令人难以置信的成绩。然后我们将进入为医学影像构建人工智能模型的训练过程。最后ÿ 查看详情
吴恩达-医学图像人工智能专项课程-第一课第一周1-3节(代码片段)
欢迎来到医学人工智能专业。如果你已经完成了深度学习专业化或机器学习课程，并且你正在寻找更深入掌握人工智能的应用领域，这是一个很好的专业化学习。要想成为真正优秀的机器学习，最重要的事情之一就是... 查看详情
吴恩达-医学图像人工智能专项课程-第一课第一周6-10节总结+作业解读(代码片段)
现在，您已经了解了深度学习在医学图像分类问题上的一些前沿应用。本文将介绍第一课第一周6-10节的内容。主要讲解构建一个分类模型去识别胸片的肿块。以及分类模型将面临的三个挑战：类不平衡挑战、多任务挑战... 查看详情
吴恩达-医学图像人工智能专项课程-第一课第一周12-13节多任挑战总结(代码片段)
前面我们已经学习了如何处理类别不平衡。这节课我们来探讨第二个挑战-多任务挑战目前为止，我们已经研究了二分类，我们关心的是一个例子是否是有mass疾病。然而，在现实世界中，我们关心的是对许多此类... 查看详情
吴恩达-医学图像人工智能专项课程-第一课第一周16-18节-如何确保数据集病人不重叠+作业解说(代码片段)
模型测试既然你已经了解了如何训练医学诊断模型，那么让我们来谈谈如何测试这样的模型。接下来你会学习如何测试这样的一个模型。您将学习如何正确使用训练、验证和测试集。以及为了评估你的模型需要强大的groundtrut... 查看详情
吴恩达-第一课第二周1-7节总结-医学深度学习模型的评估汇总(代码片段)
医学深度学习模型的评估汇总本周我们将深入探讨医学深度学习模型的评估。在医学上，由于决策具有很高的影响力，我们关心的是准确地了解模型何时对患者起作用，什么时候不起作用。您将学习一下指标，包... 查看详情
第一课第三周大作业--mri脑肿瘤自动分割教程(代码片段)
...1骰子相似系数4.2softdiceloss5创建模型5.1训练6评估作业文件吴恩达-医学图像AI专项课程-作业/第一课/第一 查看详情
吴恩达深度学习课程第一课—神经网络与深度学习—第一周练习
...网络和深度学习 第一周-深度学习简介 第1题“人工智能是新电力”这个比喻指的是什么？A.人工智能为我们的家庭和办公室的个人设备供电，类似于电力。B.通过“智能电网”，人工智能正在传递新一波的电... 查看详情
吴恩达-第一课第二周8-10节-什么是置信区间，有什么作用
在这节课中，我们将了解评估医学模型的另一个非常重要的方面，即报告我们的评估中的可变性。我们将研究如何使用置信区间来显示这种可变性。假设一家医院有5万名病人，我们想知道我们的胸部x光模型对每个人... 查看详情
第一课第一周大作业-胸部14种疾病分类-代码详解(代码片段)
...01;您将通过使用Keras构建最先进的胸部X射线分类器来探索医学图像诊断。你将学会一下内容：预处理真实世界的X射线数据集使用迁移学习重新训练DenseNet模型以进行X射线图像分类学习一种处理类别不平衡的技术 查看详情
吴恩达实验（神经网络和深度学习）第一课第三周，代码和数据集，亲测可运行
代码和数据集已上传到文件中应该可以直接下载吧（第一次上传文件，感觉是），解压后把文件夹拷贝到jupyter工作空间即可注：我对下载的代码的格式稍作了修改，原来定义函数与调用函数在两个单元格里，我直接运行他总给... 查看详情
第二课第一周大作业--构建和评估一个线性风险模型(代码片段)
之前教程：第二课第一周第1节-AI用于医学预后简介第二课第一周第2节-做医学预后，你需要掌握什么？第二课第一周第3-4节-什么是预后?第二课第一周第4-7节医学预后案例欣赏+作业解析第二课第一周第8节风险得分... 查看详情
第二课第一周大作业--构建和评估一个线性风险模型(代码片段)
之前教程：第二课第一周第1节-AI用于医学预后简介第二课第一周第2节-做医学预后，你需要掌握什么？第二课第一周第3-4节-什么是预后?第二课第一周第4-7节医学预后案例欣赏+作业解析第二课第一周第8节风险得分... 查看详情
第二课第一周1节-ai用于医学预后简介
第二门课程集中于医学预后（medicalprognosis）。预后是医学的一个分支，专门预测病人未来的健康状况。例如，根据病人的实验室结果，你能估计出未来5年内心脏病发作的风险吗？或是未来10年内死亡的风... 查看详情
第一课第三周1-2节-了解医学图像分割以及探索mri数据格式以及作业解读(代码片段)
本周将学习图像分割，图像分割在许多医学影像应用中起着至关重要的作用，例如组织大小的量化、疾病的定位和治疗计划。我们将重温您在过去两周学到的一些相同的想法，看看它们是如何扩展到图像分割的。在本... 查看详情
第二课第一周2节-做医学预后，你需要掌握什么？
...设计重点在于为你提供概念和实用工具。你需要成功地为医学建立机器学习模型。对于这门课程，你不需要任何深入学习方法的背景知识，也不需要任何医学背景。不过，在你上这门课之前，我建议你先满足三个... 查看详情