正式竞赛按题目规定的指标评分,平时训练再用辅助指标解释错误。准备NOAI等人工智能奥赛时,应先区分分类与回归、确认分数方向,再检查类别比例和误判代价。不能只挑对自己模型最有利的数字,也不能把训练集高分当作最终效果。

一、评分指标与诊断指标分别解决什么问题?
拿到任务后,先把提交内容、评分公式和分数方向写在实验记录顶部。要求提交类别标签与要求提交概率,是不同任务;按误差越小越好评分,与按准确率越大越好评分,也不能混用。题目指定的指标决定排名,额外计算的指标帮助定位原因。即使某个辅助分数提高,只要主指标下降,也不能直接宣布方案更好。
NOAI备赛涉及数据处理、机器学习与模型实践。读指标不能脱离这些基础:先确认样本、特征和标签分别是什么,再看数据如何划分,最后解释分数。若把同一对象的高度相似记录分到训练与验证两边,即使指标写对,也可能得到过分乐观的结果。分数是否可信,与分数有多高同样值得检查。
二、先判断任务类型,再选择观察角度
分类任务预测类别,例如判断一张图片属于哪一种对象;回归任务预测数值,例如估计某个连续测量值。不同指标的数值尺度并不相同,不能把两个任务的分数直接横向比较。下表适合作为练习时的检查入口,正式使用仍需与题目定义保持一致。
| 情境 | 常见观察指标 | 解释时必须确认的内容 |
|---|---|---|
| 单标签分类 | Accuracy(准确率) | 类别是否严重不均衡 |
| 关注正类识别 | Precision、Recall、F1 | 哪一类被定义为正类 |
| 多类别分类 | 各类别结果、Macro F1 | 平均方式及缺失类别处理 |
| 连续值预测 | MAE、RMSE | 目标单位与大误差的影响 |
MAE是绝对误差的平均值,RMSE是平方误差平均后再开方,后者对较大的误差更敏感;两者通常越低越好,且保留目标量的单位。多分类中的Macro F1,则先分别计算每个类别的F1再求算术平均,不能拿总体准确率替换。记录完整指标名称,可以减少“都叫F1却算得不同”的误会。
三、为什么准确率很高仍可能没有学会?
考虑一个自拟二分类练习:100条样本里有90条负类、10条正类。如果全部预测为负类,准确率仍有90%,但一个正类也没识别出来。这个例子说明,高准确率可能来自类别比例,而不是模型已经掌握了关键区别。训练前先统计各类数量,能帮助判断一个看起来漂亮的分数是否真的超过了简单基线。
再假设模型把12条样本预测为正类,其中8条确实是正类,另外4条为误报;真实正类共有10条,则还有2条漏报。正类Precision为8/12,约66.7%;Recall为8/10,即80%;F1为2×8/(2×8+4+2),约72.7%。Precision看预测为正的结果有多可靠,Recall看真实正类找回了多少,分母不同,含义也不同。
四、指标必须放回数据、算法和模型的关系中
评价结果不是训练流程末尾随手加的一行数字。数据里的重复记录、标签错误、预处理方式,都会影响验证分数;算法和模型的选择则需要通过一致的实验条件来比较。下面的学习层次图提示了一条基础顺序:理解数据与算法,再开展模型学习与分析,不能只在最上层追逐更高分数。

AI基础学习层次示意,图源:NOAI官网
具体实践时,先固定一个验证划分,预处理参数只在训练数据上学习,再应用到验证数据。对存在时间顺序或同一主体多条记录的任务,还要按问题结构选择划分办法,不能机械随机打散。验证样本必须尽量模拟真正未见的数据,否则更换复杂模型可能只是放大了流程中的漏洞。
五、怎样避免“换了指标就觉得进步”?
一张实验记录至少保留四项:数据划分标识、模型与参数、题目主指标、关键错误类型。比较两个版本时,先确保它们使用相同验证条件。不要在版本甲上汇报准确率、版本乙上改报F1,再凭数值大小判断哪个更优;即使都在零到一之间,它们表达的目标也不同。
对输出概率的分类器,阈值变化会改变最终类别,从而影响Precision与Recall。阈值应在验证阶段研究,并按题目允许的方式确定;不能查看隐藏测试标签后反复修改。平时可比较不同阈值下的错误结构,观察减少漏报是否同时增加误报,而不是假定存在一个对所有任务都最好的固定阈值。
六、把指标理解转成可执行的备赛动作
建议每完成一个小模型,就手算一组预测的混淆结果,再与程序输出核对;遇到分数突升,先排查划分、重复样本与标签使用,随后再解释模型改进。对低分样本抽取几例回看原始输入,可以区分“数据有问题”“模型不适合”和“评分实现错误”,避免把所有失败都归因于模型太简单。
真正掌握指标,应能回答四句话:题目按什么排名;这个数怎样计算;模型主要错在哪里;下一次实验准备验证哪一个假设。用主指标做比较,用辅助指标找原因,用可靠划分保证结论成立,比一次计算十多个数字却无法解释更有助于人工智能奥赛训练。
🔥 AI 奥赛体验课,限时 9.9 元 (原价649元)
翰林名师亲授,一课打通 AI 四大领域,零基础也能学,扫码即可报名咨询 ⇓

点击右侧文字,可获得更多在线练习题资源:>>> NOAI在线水平测试
NOAI新赛季备赛已开启,扫码领取NOAI备赛资料
欢迎咨询【NOAI竞赛辅导课程】









