启用前进行回测：安全地测试监控规则变更
Charles Archibong, 联合创始人
按照建议的配置重现最近得分的事件，然后阅读每一项会发生变化的决策及其计数。回测可以显示一项更改会对过去产生什么影响；而你的预期结果则能告诉你这是否是正确的结果。
要点
- 在进行回测之前，先写下你预期会产生的效果，否则任何结果看起来都像是可以接受的。
- 仔细观察每一个导致决策转变的因素；微小的净变化可能掩盖着双向的巨大波动。
- 历史是由你过去的决定塑造的，因此回测可能会低估更宽松的规则会允许哪些事情发生。
- 每次测试只更改一个设置，将其发布为新版本，并将实时结果与预测结果进行比较。
在规则变更生效之前，你可以通过回放近期历史数据，并结合拟议的配置来分析哪些决策会发生改变，从而了解规则变更的影响。这就是回测。它能很好地回答一个具体的问题：对于我们已经看到的事件，这种配置会做出哪些不同的决定？
它并不能告诉你改动是否正确。这个判断取决于测试前制定的书面预期，以及具体发生的事件，而不是最终的统计结果。如果团队跳过这两个步骤，最终会因为数值看起来小而批准改动。
回测究竟能告诉你什么？
回测会获取已存储的事件，使用候选规则对每个事件重新评分，并将新的评分结果与当时记录的评分结果进行比较。有用的输出结果包括：
有多少事件会介于两者之间？ ALLOW ， REVIEW 和 BLOCK ；
哪些事件会发生，以及会朝哪个方向发展；
在新配置下，哪些规则触发的频率更高或更低？
在 Toden 交易监控中的“测试变更”步骤会在您保存之前执行。它会以只读历史测试的形式重放最近评分的事件，并显示有多少决策会发生变化。此步骤不会创建任何警报、调查、客户更新或费用，因此您可以根据需要多次运行，非常安全。回测最多可针对 1000 个已存储的事件运行。监控规则文档 （在新标签页中打开）涵盖了它所测试的配置。
为什么要先写出预期结果？
如果没有明确的预期，任何回测结果都可以被合理化。例如，3% 的跌幅 REVIEW 如果你想要减少警报，那么这个决定听起来像是赢了；如果你想要更好的覆盖范围，那么这个决定听起来像是输了。
在运行测试之前，请先写两三句话：
变化：“提高 NGN 单笔交易限额从 2,000,000 奈拉提高到 3,500,000 奈拉。
原因：“上个季度大多数针对薪资账户客户的阈值警报都被证实为误报。”
预期效果：“降低阈值” REVIEW 薪资账户相关决定。无变化 BLOCK 决定。上季度未确认的任何欺诈事件均不应移至 ALLOW “
这些数字仅供参考。最后一句话才是重点：它指出了会让你拒绝这项改变的结果。
你如何解读那些发生逆转的决定？
净变化掩盖了总体变化。一个配置会发送 30 个事件 REVIEW 到 ALLOW 以及来自 28 的 ALLOW 到 REVIEW 净变化为 2，但却改变了 58 个决定。
将纸条分成四组，并分别朗读每组中的一个样本：
移动 | 问题 |
|---|---|
REVIEW 到 ALLOW | 这些警报在处理后是否被证实为可疑事件？ |
ALLOW 到 REVIEW | 这些看起来像是此次变革旨在发现的风险，还是新的干扰因素？ |
BLOCK 到 REVIEW 或者 ALLOW | 松开某个障碍是有意为之吗？这组代码值得仔细研读。 |
ALLOW 或者 REVIEW 到 BLOCK | 屏蔽这些用户会阻止合法用户吗？ |
将第一组与警报标签进行交叉引用。如果事件移动到 ALLOW 如果警报被确认为真阳性，那么更改操作将会删除一次真实的检测结果。这种情况一旦发生，就足以让我们停下来重新考虑。
对于自定义规则，还要检查规则是否触发。如果条件针对集成未发送的字段编写，则触发次数将显示为零，乍一看可能会误认为“无影响”。
回测无法告诉你什么？
实践中，有四个限制因素至关重要。
历史反映的是您过去的决策。如果过去的配置阻止了一笔交易，客户可能已经放弃、尝试了不同的金额，或者转移到了其他地方。后续事件本应发生，但实际上并未发生。因此，对放宽规则进行回测时，会发现原本应该允许的交易数量较少，从而低估了规则的实际效果。
窗口期是有限的。对近期事件的重现可能不会涵盖淡季月份、季节性高峰或一年中仅出现几次的特定类型。如果您的企业存在薪资周期或节假日高峰，请检查窗口期是否涵盖这些高峰。
标签存在滞后。最近的警报可能尚未处理。没有标签的事件无法证明任何事情，因此，对未标记事件的任何更改都应视为未知情况，而不是安全的更改。
消费者行为会发生变化。犯罪行为会适应管控措施，合法行为也会随着价格和产品的变化而改变。回测结果只能提供预测，不能保证准确无误。
这些限制都不是放弃测试的理由，而是促使我们在政策调整后密切关注实时结果的原因。
如何将变更从提案阶段推进到生产阶段？
简单的流程可以确保变更可控且可审计。
请提出一项变更建议。可以是一条规则、一个限制或一个权重。捆绑式变更无法归因。
写出预期效果，包括会让你拒绝该结果的情况。
在变更将应用的环境中运行回测。
阅读以上四组内容，并交叉核对已确认的警报。
任何可能放松管制的改动，都 需要第二个审核人进行审核。BLOCK 或取消对特定风险的承保。
发布 为新版本。Toden 发布反欺诈规则会创建一个不可更改的版本，因此之前的裁决始终指向生成该裁决的确切规则。这使得一年后我们仍然可以回答“为什么这笔交易在三月份被允许？”这个问题。
将实际结果与一段时间后的预测结果进行比较，并记录预期是否成立。
权限支持第二位审阅者的步骤。 Toden 任何拥有风险情报访问权限的人都可以查看配置，而编辑则需要权限。monitoring:manage这样就可以将提出变更的人与实施变更的人区分开来。
同样的原则是否也适用于持续监测政策？
是的，但有一点不同。规则变更会改变单个事件的评分方式。持续监控策略决定哪些客户需要重新检查、检查频率如何，以及何时变更足以触发警报。
Toden 监控策略以不可变版本的形式存储。更改策略的默认频率会更新遵循默认设置的客户，但不会覆盖已显式设置频率覆盖的客户。在更改策略默认值之前，请检查有多少客户遵循该策略以及有多少客户设置了覆盖，因为更改只会影响前者。持续监控文档中 （在新标签页中打开）描述了策略和覆盖字段。
这些问题与规则的问题相同：你希望改变什么，为谁改变，以及什么结果会让你撤销改变。
每项规则变更的核对清单
每次测试只能做一次改动。
试验前需写明预期效果，包括拒绝条件。
回测在与变更相同的环境下进行。
按方向读取翻转结果，并交叉核对已确认的警报。
第二位审阅者负责任何可能松动堵塞物或移除覆盖物的情况。
已发布新版本，并记录了发布原因。
将实际结果与特定日期的预测结果进行比较。
如果一项变更无法用这些术语来解释，那么它还不能上线。
参考来源
