如何使用 Toden 衡量决策质量
Charles Archibong, 联合创始人
利用已确认的下游结果衡量决策质量。在不悄然更改现有策略的情况下，审查欺诈检测和客户摩擦情况。
要点
- 重复播放相同结果的录像不会产生重复效果。
- 有效载荷已更改，但密钥冲突仍然存在。
- 仍可见部分覆盖区域。
- 模拟实验并不会改变实际决策。
- 已发布的改进方案都有可追溯的版本。
利用已确认的下游结果衡量决策质量。在不悄然更改现有策略的情况下，审查欺诈检测和客户摩擦情况。
开始之前
记录决策并提供支持性结果反馈
授权报告访问权限
请使用具有此控制权限的团队成员。更改设置前，请检查组织和环境。付款或持续注册前，请审核当前价格。屏幕截图显示的是示例工作区或公共集成参考；它们不显示真实客户或已完成的付款。
设置并使用该功能
第一步：打开“有效性”并选择一个有意义的窗口
打开风险情报 → 有效性（需获得授权报告访问权限）。选择您要评估的证据窗口。检查报告是否包含足够多的已确认结果，以及回复是否表明其完整性有效。证据不足是一种诚实的状态；它并不代表零欺诈或完美表现。
整合参考：了解四项主要措施
步骤二：记录决策之后发生的事情
从您的后端发送 POST /api/v1/transactions/{transactionId}/outcomes包含最终已知的分类和来源。根据证据，使用“欺诈” 、“合法”或“不确定”作为结果。包含 occurAt 和原因代码。如果可用，请包含 externalUserId 作为所有权保护符。保持该结果对应的幂等键稳定。不要将未解决的拒付标记为已确认的欺诈。
集成参考：记录结果
步骤三：保留与结果相符的确切财务证据
记录损失和追回时，请发送适用的货币和精确的十进制金额。将已确认的财务事件与风险评分分开保存。存储交易和决策参考信息，以便将标签追溯到执行操作的控制项。结果记录仅支持追加；未经修改的重放是安全的，但禁止将密钥用于不同的数据。
集成参考：记录结果
第四步：先阅读报道再判断表现
首先审查结果覆盖率，然后是欺诈识别率、精确率和误报率。结果覆盖率低会削弱其他指标的有效性。比较同一时期内支持的各个细分市场和每条规则的证据。不要将每次被阻止的付款都称为预防欺诈，也不要将不完整的时期视为具有相同的标签。
整合参考：阅读有效性证据
第五步：检查漂移情况并提出建议
审查支持的漂移、可靠性和阈值建议。阅读证据和后续行动，而不仅仅是标题评分。建议不能自动改变客户的决策。有限关系证据有助于调查，但不能取代已标记的结果。表面上的变化可能反映的是客户构成不同或标签缺失，而不是对照组恶化。
集成参考：漂移、检查可靠性和关系
步骤 6：测试并发布一项刻意改进
使用合适的历史数据对拟议规则或阈值进行回测。当需要在不改变实际决策的情况下进行比较时，可以使用现有的影子实验。审核结果后，在获得授权后发布一个单独管理的规则或系统版本。保留之前的版本和决策。持续记录结果，以便在激活后评估改进效果。
集成参考：安全优化
充分发挥这种能力
使用稳定的外部事件 ID 自动处理最终争议和已确认案件结果，而不是手动标记仅具有记忆意义的欺诈案件。
追踪合法中断客户以及已确认的欺诈行为，以发现摩擦点。
在将这些数据用于政策变更之前，请审查每个窗口的完整性和覆盖范围。
先测试再依赖它
运行此产品支持的沙箱或模拟器场景。如果某个工具仅供生产环境使用，请先检查访问权限和范围，然后仅使用经过审核的、获得许可的生产环境测试。文档截图或页面加载成功并不等同于端到端集成测试。
重复播放相同结果的录像不会产生重复效果。
有效载荷已更改，但密钥冲突仍然存在。
仍可见部分覆盖区域。
模拟实验并不会改变实际决策。
已发布的改进方案都有可追溯的版本。
故障排除
所有指标都表明证据不足。
记录已确认的结果，并检查支持的窗口和完整性；不要用虚构的零填充空白。
结果所有权保障冲突
检查 externalUserId 是否属于已解决的事务。
这项建议并未改变政策。
这是意料之中的。需要经过审核、测试和单独发表。
打开设置和集成参考
返回解决方案 （在新标签页中打开）。选择要激活的功能，然后按照其相应的指南进行操作。
参考来源
