欺诈率看起来很低，可能只是损失还没被报上来。

最近批准的一批客户，比更早的客户拥有更短的欺诈报告观察期。应在相近时长下比较批次，保留未知结果，并将后续损失关联到允许活动发生的决定。

否则，新政策可能仅仅因为相关损失尚未报告完，就显得效果最好。

区分决策时间和结果时间

记录决定发生时间、活动发生时间、首次报告问题时间和结果确认时间。这些时间回答的是不同的运营问题。

Stripe的争议衡量指南 （在新标签页中打开）区分按争议日期衡量的活动和按付款日期衡量的比率，并解释后续争议会改变比率。任何确认结果落后于活动的业务，都可能遇到类似问题。

不要把银行卡争议的等待周期直接套用到所有产品。应根据自己业务相关的结果，估计实际观察规律。

比较拥有相同成熟时间的群体

按明确的决策期间建立批次，同时保留重要差异：产品、市场、客户类型和政策版本。

例如，在同样经过若干天后比较两批批准。报告已确认结果数量和尚未确定的数量。新批次可以提供有用的早期信号，但不代表最终绩效结论。

分别衡量损失笔数与损失金额。一笔大额损失和很多小额损失，可能意味着不同的运营问题。

保留作出决定时的政策

保存原始输入、决定、规则或工作流版本及相关证据引用。即使客户当前状态已变，也应把后续确认结果归因到原来的历史决定。

使用稳定的结果标识，避免把重复报告算成新损失。单独记录更正与追回，不要删除历史。明确指标采用的是毛损失、追回金额还是净损失。

未知、已报告、已确认和已推翻的结果必须可区分。不要把所有尚无欺诈报告的账户，都当作“合法”训练样本。

依据证据作出下一次调整

将成熟结果与批准率、人工审查工作量和真实客户影响一起评估。调查政策究竟在哪里有效，在哪里仅仅推迟了决定。

Toden决策质量指南介绍了确认后的下游结果如何支持评估。确认集成发送了受支持的结果数据。先带一批定义明确的样本进行监控讨论，不要把绿色仪表板直接视为规则安全的证据。