Deux analystes, un client, des décisions opposées. Corrigez l'écart avant qu'il ne vous coûte cher.

Charles Archibong, Cofondateur
Un deuxième évaluateur n'est utile que lorsque la décision peut être expliquée. Utilisez un exercice d’étalonnage contrôlé par des preuves pour détecter les lacunes politiques, le contexte manquant et les jugements incohérents avant de modifier les contrôles en direct.

Points clés
- Comparez les décisions en utilisant les mêmes données probantes et la même version politique.
- Séparez les désaccords politiques des preuves manquantes, des problèmes d’interface et des erreurs simples.
- L’accord entre les analystes ne prouve pas que leur décision était correcte.
- Transformez les résultats en améliorations spécifiques en matière de formation, de processus ou de politique et évaluez-les à nouveau.
Un analyste approuve le client. Un autre, confronté au même cas, demande davantage de preuves. Un troisième affirme que le compte aurait dû être refusé.
Vous avez peut-être un problème de formation. Vous pouvez également avoir une politique ambiguë, des preuves incomplètes ou un écran qui cache les détails dont dépend la décision.
L'ajout d'un autre réviseur ne résoudra pas ces problèmes en soi. Découvrez d’abord pourquoi des personnes raisonnables parviennent à des conclusions différentes.
Figer la question avant de comparer les réponses
Choisissez la décision que vous souhaitez examiner. L'analyste résout-il une correspondance de nom, accepte-t-il des preuves d'adresse ou recommande-t-il une action sur une transaction ? Évitez de combiner des tâches de révision non liées en un seul exercice.
Donnez aux participants le même aperçu des données factuelles, la même version de politique et la même question. Si un analyste peut voir un document ultérieur et qu’un autre ne le peut pas, l’exercice consiste à comparer l’accès à l’information plutôt que le jugement.
Utiliser du matériel de dossier historique ou synthétique autorisé dans un cadre autorisé. Une évaluation de formation ne doit pas modifier le statut d'un client réel, envoyer un message ou déclencher une restriction de paiement.
Sélectionnez les cas qui révèlent le problème
Incluez les approbations de routine, les décisions défavorables de routine, les cas non résolus et les exemples proches des limites de votre police. Ne sélectionnez pas uniquement les cas de fraude célèbres que votre équipe reconnaît déjà.
Étiquetez comment vous avez sélectionné l’échantillon. Un ensemble délibérément difficile est utile pour trouver un désaccord, mais il ne peut pas établir le taux d'erreur de l'ensemble de votre opération.
Assurez-vous que les preuves reflètent ce que les analystes reçoivent réellement. Un fichier de formation impeccable peut masquer les problèmes causés par des liens manquants, des horodatages confus ou une mauvaise organisation des cas en production.
Demander une décision et sa raison en toute autonomie
Demandez à chaque analyste d'enregistrer la décision, les preuves invoquées, la politique applicable et tout ce qui manque encore avant de discuter du cas avec des collègues.
Les premières réponses indépendantes réduisent les chances que tout le monde suive la voix la plus élevée. L’explication est aussi précieuse que le résultat choisi. Deux personnes peuvent choisir la révision pour des raisons totalement différentes, dont une seule correspond à la politique.
Un exercice illustratif pourrait inclure une correspondance de nom de société qu'un analyste efface en utilisant une inadéquation de numéro d'enregistrement, tandis qu'un autre ignore ce champ et escalade. La différence de résultats suggère un problème spécifique d’utilisation des preuves. « Soyez plus prudent » n’est pas une solution utile.
Classer la cause avant d'attribuer une formation
Triez les désaccords en catégories pratiques :
Preuve manquante ou visible uniquement par certains évaluateurs.
Politique peu claire, contradictoire ou muette sur le cas.
Une politique claire et mal appliquée.
Un outil ou une interface rendant le détail pertinent difficile à utiliser.
Une question de jugement qui nécessite un responsable de l'escalade défini.
Ne réécrivez pas la politique pour qu’elle corresponde automatiquement à la réponse la plus courante. La majorité peut se tromper. Demandez au propriétaire responsable de résoudre l’approche envisagée et d’expliquer les preuves à l’appui.
Pour les cas véritablement incertains, une escalade convenue peut être la bonne solution. Forcer une réponse binaire peut produire une cohérence sur le papier tout en masquant l’incertitude.
Mesurer l’accord sans l’appeler exactitude
L'accord vous indique si les évaluateurs sont parvenus au même résultat sur les cas testés. Cela ne permet pas d’établir s’ils avaient raison.
Une équipe peut systématiquement éliminer un schéma qu’elle ne reconnaît pas. Il peut également être en désaccord parce qu’une personne a repéré des preuves pertinentes. Comparez l’exercice avec les résultats confirmés en aval, le cas échéant, en gardant distincts les cas non concluants.
Notre guide sur la qualité des décisions couvre les preuves des résultats et leur exhaustivité. Le calibrage a un objectif différent : trouver des différences dans la façon dont les gens interprètent les données probantes et les politiques dont ils disposent déjà.
Suivez les désaccords par tâche et par cause, et pas seulement sous la forme d'un score global. Enregistrez la taille de l’échantillon, sa composition et les cas non résolus afin que le résultat reste interprétable.
Apportez une amélioration que vous pouvez réévaluer
Choisissez une action liée à la cause. Il peut s'agir d'un exemple de politique plus clair, d'un champ de preuve obligatoire, d'un changement d'interface ou d'une formation ciblée sur une erreur répétée.
Utilisez un nouvel ensemble de cas comparables pour voir si l’amélioration a aidé. Ne vous contentez pas de répéter des cas dont tout le monde a mémorisé les réponses.
Conservez une trace de l’interprétation convenue, de la date d’entrée en vigueur et du propriétaire de la police. Lorsque l’exercice révèle une faiblesse importante du contrôle réel, évaluez son impact potentiel par le biais de votre processus de gouvernance normal. Ne réécrivez pas silencieusement les décisions antérieures.
Où Toden peut vous aider
Les outils de cas de Toden prennent en charge les dossiers d'enquête, les affectations et les résultats enregistrés. Ces dossiers peuvent servir de base pour examiner la manière dont une décision a été prise.
Cet article décrit un exercice d’étalonnage opérationnel. Il ne revendique pas de module d'évaluation aveugle intégré, de score d'analyste automatique ou de certification d'assurance qualité indépendante.
Vous utilisez déjà Toden ? Choisissez une tâche d'examen récurrente et vérifiez si deux analystes autorisés peuvent reconstruire les mêmes preuves et politiques à partir de son dossier. S'ils ne le peuvent pas, parlez-nous du contexte manquant avant d'ajouter d'autres étapes de révision.
Sources

Charles Archibong
Cofondateur
Charles Archibong est le cofondateur de Toden. Il écrit sur la vérification d'identité, les technologies financières et les aspects pratiques de la création de services numériques de confiance.


