通过统计目标检测算法的四类预测结果,即 定义目标检测中准确率(precision)和召回率(recall)的计算公式如公式 3.2 所示。准确率是从预测结果的角度来统计目标检测算法的查准率,即统计预测为正样本数据中真正的样本率。召回率是从真实的样本集来统计目标检测算法的查全率。

准确率和召回率往往是相互矛盾的,当目标检测算法的阈值上升时,模型准确率上升,召回率下降,阈值下降时,模型准确率下降,召回率上升。观察阈值变化时,保证precision 和 recall 值处于一个很高的水平即可评估目标检测模型的性能,通常情况下,科研人员会使用准确率-召回率曲线来显示出模型在 precision 与 recall 之间的权衡。
平均精度(AP)值是 P-R 曲线下围成的面积,AP 值越高,目标检测模型分类性能越好。m AP 是多个类别 AP 的平均值,也是目标检测算法中最为重要的评价指标之一,m AP 值越大训练的模型性能越优秀。AP 与 m AP 计算公式如公式 3.3 所示。

P-R 图能够直观地显示出模型在样本总体上的查全率、查准率,在进行不同目标检测模型间的比较时,若一个检测器的 P-R 曲线被另一个检测器的曲线完全“包围”,则称后者的目标检测性能优于前者;若二者的 P-R 曲线发生交叉,则只能在具体的查准率或查全率条件下进行比较,为了更加合理判断出检测器性能的优劣,科研人员提出了“平衡点”(BEP)即“Precision=Recall”时的取值,基于 BEP 的比较较为合理的评价不同检测器见性能高低。然而 BEP 的判断方法过于简化,因此 F1 分数(F1-score)常作为分类问题的一个主要衡量指标,F1分数认为模型召回率与准确率同等重要,多分类问题的目标检测竞赛也常用 F1-score 作为最终测评的方法。其计算公式如公式如下所示:

显然,当目标检测模型 A 的 F1 分数比模型 B 高时,其 BEP 值也高于 B。目标检测得到四种预测结果的同时也会生成四种新的评价指标,分别是:TPR、TFR、FPR、FNR,其计算公式与含义如下表所示。
大豆苗情检测系统开发环境