术语词典 › 校准度

术语定义

校准度

模型的 70% 是否真的在约 70% 的情况下发生——区分诚实数字与自信数字的性质。

定义

当模型所有说 70% 的预测中结果约 70% 发生(30%、50%、90% 同理)时,预测就是校准的。校准可测量,也是我们公开结算的标准。

为什么比命中率更重要

任何人都能连赢几场。只有校准度能说明明天的数字是否可信——这也是看板同时展示 Brier 分数与命中率的原因。

常见问题

怎么检验校准?

按声明的概率分桶,用大量比赛的实际频率对照。

命中率高就等于校准好吗?

不能——模型可能只是运气好。校准度对大量预测取平均,能滤掉运气。