什么是FROC曲线

最近在阅读肺结节检测的论文时，发现在结节检测阶段用到了一种评价指标FROC，在查阅了很多资料之后，在此做一个初步的总结

首先了解一下一般目标检测的评价指标：

mAP：

在了解mAP之前我们还需要知道几个常见的指标：

TP：经过目标检测模型后得到的bbox中与GT的IOU>某个阈值(比如0.5)的bbox记为TPFP： 经过目标检测模型后得到的bbox中与GT的IOU<某个阈值(比如0.5)的bbox记为FPFN： 没有检测到的GT数量查准率（Precision）：TP/(TP+FP)，得到的bbox中确实是正确目标的概率查全率（Recall）： TP/(TP+FN)，所有的GT中，有多少被检测出来TN：在目标检测中，我们一般不关注这个指标P-R曲线：经过目标检测模型之后得到的每个bbox都会有一个置信度表示这个bbox属于该类的概率，对于每一类的bbox都会设置一个阈值，只有大于这个阈值，这个bbox才有效。我们只在那些有效的bbox中计算TP，FP的个数。所以不同的置信度阈值就会对应不同的TP和FP以及FN。将每一类的bbox按置信度从大到小进行排序，并依次计算Precision和Recall的值，将不同的confidence下Precision与Recall组成的点连接起来就形成了P-R曲线（横轴是Recall,纵轴是Precision）。AP: P-R曲线下的面积mAP: 各类别的AP平均值

这些指标都是经过NMS之后计算的

Recall的值只会随着confidence的值的降低而增加或保持不变

具体如何绘制P-R曲线并计算AP参见/litt1e/article/details/109744500

FROC曲线

这里针对肺结节检测这个任务来给出TP和FP的定义

TP: 检测出来的结节中心坐标落在某一真实结节的半径范围之内就认为是TP

FP：检测出来的结节中心坐标落在任意结节的半径范围之外就认为是FP

Sensitivity：TP/(TP+FN)，就相当于上面的查全率

FPs：平均每个CT的假阳性的个数

FROC：就和上面的PR曲线一样，我们只将大于confidence阈值的bbox记为有效的bbox,然后在有效的bbox中计算FPs和Sensitivity。每个阈值对应一个FPs和Sensitivity，然后将各个点之间用直线进行连接。(横坐标为FPs，纵坐标为Sensitivity)

CPM: 在肺结节检测中为了得到一个衡量检测系统好坏的定量指标，在横轴固定的取了1/8，1/4，1/2，1，2，4和8这几个值，然后算出对应的sensitity的值（如果在所有的阈值下都没有1/8，1/4，1/2，1，2，4和8，做法很简单直接线性插值，因为我们在绘制FROC曲线时点与点之间是通过直线进行连接的，给定横坐标，就能算出纵坐标）。CPM就是计算1/8，1/4，1/2，1，2，4和8这几个值对应的平均敏感度。

通常按confidence从大到小计算，随着confidence逐渐变小，假阳性的数量会增加或者保持不变，recall的值也是会增加或者保持不变。

FROC在医学文章里很常见。医学图像的检测是需要极高的recall的，因此可以容忍一张图像上有大量的FP,医生管这些FP叫假阳性。为了得到高recall，经常在只有一个目标的图像上预测出十几个假阳性目标，所以这样用FROC来衡量就很方便，直接讨论在多少个假阳性的条件下能得到多高的recall

通过假阳性减少是可以提高CPM的值的，因为通过假阳性减少这一步，所有检测的结节之中假阳性的数量变少了，那么如果想要得到相应的横轴阈值1/8，1/4，1/2，1，2，4和8，就需要从检测的结节中采样更多的结节（即相比于没有经过假阳性减少这一步，每一个阈值所取的confidence降低了），所以自然而然每个点的recall就增加了（因为毕竟所取的bbox越多，里面的TP也越多）。这个现象在横轴阈值较小的时候比较明显。随着阈值越来越大，相应的recall值可能和没有经过假阳性减少这一步的值差不多大

绘制FROC曲线

如果觉得《什么是FROC曲线》对你有帮助，请点赞、收藏，并留下你的观点哦！