اختبر التغييرات في قواعد المراقبة قبل التشغيل: اختبر التغييرات في قواعد المراقبة بأمان
Charles Archibong, المؤسس المشارك
أعد تشغيل الأحداث المسجلة مؤخرًا باستخدام التكوين المقترح، ثم اقرأ كل قرار سيتغير بالإضافة إلى عدد مرات التغيير. يُظهر الاختبار الرجعي تأثير التغيير على الماضي؛ وتوقعاتك المكتوبة هي التي تحدد ما إذا كانت هذه هي النتيجة الصحيحة.
أهم النقاط
- دوّن التأثير الذي تتوقعه قبل إجراء اختبار رجعي، وإلا ستبدو أي نتيجة مقبولة.
- اقرأ القرارات الفردية التي تنقلب؛ فالتغيير الصافي الصغير يمكن أن يخفي تحركات كبيرة في كلا الاتجاهين.
- التاريخ يتشكل من خلال قراراتك السابقة، لذا فإن الاختبار الرجعي قد يقلل من شأن ما قد تسمح به قاعدة أكثر تساهلاً.
- قم بتغيير شيء واحد في كل اختبار، وانشره كإصدار جديد، وتحقق من النتائج المباشرة مقابل التوقعات.
يمكنك معرفة تأثير تغيير القاعدة قبل تطبيقه فعلياً من خلال إعادة تطبيق الأحداث الأخيرة باستخدام التكوين المقترح وقراءة القرارات التي ستتغير. هذا ما يُعرف بالاختبار الرجعي. وهو يجيب على سؤال محدد بدقة: ما الذي كان سيُقرره هذا التكوين بشكل مختلف في الأحداث التي شهدناها سابقاً؟
لا يُحدد هذا ما إذا كان التغيير صحيحًا أم لا. يستند هذا الحكم إلى توقعات مكتوبة تم وضعها قبل الاختبار، وإلى الأحداث الفردية التي تتغير، وليس إلى العدد الإجمالي. الفرق التي تتجاهل أيًا من هاتين الخطوتين ينتهي بها الأمر بالموافقة على التغييرات لأن العدد بدا ضئيلاً.
ماذا يُخبرك اختبار الأداء السابق في الواقع؟
تعتمد عملية الاختبار الرجعي على الأحداث المخزنة، حيث يتم تقييم كل حدث مرة أخرى باستخدام القواعد المرشحة، ثم مقارنة القرار الجديد بالقرار المسجل في ذلك الوقت. وتشمل المخرجات المفيدة ما يلي:
كم عدد الأحداث التي ستنتقل بين ALLOW ، REVIEW و BLOCK ؛
أي الأحداث تتحرك، وفي أي اتجاه؛
أي القواعد يتم تفعيلها بشكل متكرر أو أقل في ظل التكوين الجديد.
في Toden في مراقبة المعاملات ، تقوم خطوة اختبار التغييرات بذلك قبل الحفظ. حيث تعيد تشغيل الأحداث المسجلة مؤخرًا كاختبار تاريخي للقراءة فقط، وتُظهر عدد القرارات التي ستتغير. لا تُنشئ هذه الخطوة أي تنبيهات أو تحقيقات أو تحديثات للعملاء أو رسوم، لذا يُمكن تشغيلها بأمان كلما رغبت. تُجرى الاختبارات السابقة على ما يصل إلى 1000 حدث مُخزّن. وتغطي وثائق قواعد المراقبة (يفتح في علامة تبويب جديدة) التكوين الذي تختبره.
لماذا نكتب النتيجة المتوقعة أولاً؟
بدون توقعات محددة، يمكن تبرير أي نتيجة لاختبارات الأداء السابقة. انخفاض بنسبة 3% في REVIEW تبدو القرارات بمثابة فوز إذا كنت تريد عددًا أقل من التنبيهات وخسارة إذا كنت تريد تغطية أفضل.
اكتب جملتين أو ثلاث جمل قبل إجراء الاختبار:
التغيير: "ارفع NGN الحد الأقصى للمعاملة الواحدة يتراوح من 2,000,000 إلى 3,500,000.
والسبب: "تم اعتبار معظم التنبيهات المتعلقة بعتبة حسابات الرواتب في الربع الأخير بمثابة نتائج إيجابية خاطئة."
الأثر المتوقع: "عتبة أقل REVIEW قرارات بشأن حسابات الرواتب. لا تغيير في BLOCK القرارات. لا ينبغي نقل أي حدث احتيال مؤكد من الربع الأخير إلى ALLOW "
الأرقام توضيحية. الجملة الأخيرة هي المهمة: فهي تحدد النتيجة التي ستجعلك ترفض التغيير.
كيف تقرأ القرارات التي تنقلب رأساً على عقب؟
يُخفي التغيير الصافي الحركة الإجمالية. تكوين يُرسل 30 حدثًا من REVIEW ل ALLOW و28 من ALLOW ل REVIEW يُظهر تغييراً صافياً قدره 2، ومع ذلك فقد غيّر 58 قراراً.
قم بتصنيف الأوراق إلى أربع مجموعات واقرأ عينة من كل مجموعة:
حركة | سؤال يُطرح |
|---|---|
REVIEW ل ALLOW | هل تم التأكد من أن أيًا من هذه التنبيهات مشبوهة عند معالجتها؟ |
ALLOW ل REVIEW | هل تبدو هذه المخاطر وكأنها المخاطر التي كان من المفترض أن يغطيها التغيير، أم أنها مجرد ضوضاء جديدة؟ |
BLOCK ل REVIEW أو ALLOW | هل المقصود هو فكّ العائق؟ هذه المجموعة تستحق قراءة متأنية. |
ALLOW أو REVIEW ل BLOCK | هل كان حظر هذه الخدمات سيمنع العملاء الشرعيين؟ |
قم بربط المجموعة الأولى بتسميات التنبيه. إذا حدث حدث ينتقل إلى ALLOW لو تم تأكيد صحة التنبيه، لكان التغيير قد أزال اكتشافًا حقيقيًا. يكفي اكتشاف واحد من هذه الاكتشافات للتوقف وإعادة التفكير.
بالنسبة للقواعد المخصصة، تحقق أيضًا من تفعيل القاعدة من الأساس. سيظهر الشرط المكتوب مقابل حقل لا يرسله التكامل صفرًا من عمليات التفعيل، وهو ما قد يُفسر خطأً على أنه "لا تأثير".
ما الذي لا يمكن أن يخبرك به اختبار الأداء السابق؟
أربعة حدود مهمة من الناحية العملية.
يعكس التاريخ قراراتك السابقة. فإذا منعت إعدادات سابقة معاملةً ما، فقد يتخلى العميل عنها، أو يجرب مبلغًا مختلفًا، أو ينتقل إلى مكان آخر. وبالتالي، فإن الأحداث التي كانت ستترتب على ذلك لم تحدث أبدًا. لذلك، فإن اختبار قاعدة أكثر مرونةً في الماضي يُظهر عددًا أقل من المعاملات التي تسمح بها الآن، وقد يُقلل من تقدير الأثر.
الفترة الزمنية محدودة. قد لا يشمل استعراض الأحداث الأخيرة شهرًا هادئًا، أو ذروة موسمية، أو نمطًا يتكرر بضع مرات في السنة. إذا كانت شركتك تتبع دورة رواتب أو تشهد ذروات خلال المواسم الاحتفالية، فتحقق مما إذا كانت الفترة الزمنية تشمل أحدها.
تتأخر التصنيفات. قد لا تكون التنبيهات الأخيرة قد تمت معالجتها بعد. الحدث غير المصنف ليس دليلاً على أي شيء، لذا تعامل مع تغيير تصنيف حدث غير مصنف على أنه غير معروف وليس تغييراً آمناً.
يتغير سلوك المستهلك. ويتكيف السلوك الإجرامي مع الضوابط، ويتغير السلوك المشروع مع تغير الأسعار والمنتجات. الاختبار الرجعي هو مجرد توقع، وليس ضمانًا.
لا يُعد أي من هذه القيود سبباً لتجاوز الاختبار، بل هي أسباب لمتابعة النتائج مباشرةً بعد التغيير.
كيف يتم تنفيذ التغيير من مرحلة الاقتراح إلى مرحلة الإنتاج؟
يضمن التسلسل البسيط التحكم في التغييرات وإمكانية مراجعتها.
اقترح تغييرًا واحدًا. قاعدة واحدة، أو حد واحد، أو وزن واحد. لا يمكن إسناد التغييرات المجمعة إلى جهات أخرى.
اكتب التأثير المتوقع، بما في ذلك النتيجة التي ستجعلك ترفضه.
قم بتشغيل الاختبار الخلفي في البيئة التي سيتم تطبيق التغيير فيها.
اقرأ التعليقات في المجموعات الأربع المذكورة أعلاه وتحقق من صحة التنبيهات المؤكدة.
استعن بمراجع ثانٍ لأي تغيير يُضعف... BLOCK أو يزيل تغطية خطر محدد.
انشر كإصدار جديد.Toden إن نشر قاعدة لمكافحة الاحتيال يُنشئ نسخةً غير قابلة للتغيير، لذا فإن أي قرار سابق يُشير دائمًا إلى القاعدة نفسها التي أصدرته. وهذا ما يُتيح لك الإجابة على سؤال "لماذا سُمح بهذه المعاملة في مارس؟" بعد عام.
قارن النتائج المباشرة مع التوقعات بعد فترة محددة، وسجل ما إذا كانت التوقعات قد تحققت.
تدعم الأذونات خطوة المراجع الثاني. في Toden يمكن لأي شخص لديه صلاحية الوصول إلى معلومات المخاطر عرض التكوين، بينما يتطلب التحرير...monitoring:manageإذن، حتى تتمكن من فصل الأشخاص الذين يقترحون التغييرات عن أولئك الذين يطبقونها.
هل ينطبق نفس الانضباط على سياسات الرصد المستمر؟
نعم، مع اختلاف واحد. تُغيّر التغييرات في القواعد طريقة احتساب نقاط الأحداث الفردية. وتُحدد سياسات المراقبة المستمرة العملاء الذين يُعاد فحصهم، وعدد مرات إعادة الفحص، ومتى يكون التغيير جوهريًا بما يكفي لإصدار تنبيه.
Toden تُخزَّن سياسات المراقبة كإصدارات غير قابلة للتغيير. يؤدي تغيير التردد الافتراضي للسياسة إلى تحديث العملاء الذين يتبعون هذا التردد، ولكنه لا يُلغي التغييرات التي يُجريها العملاء الذين لديهم تردد مُعدّل صراحةً. قبل تغيير التردد الافتراضي للسياسة، يُرجى التحقق من عدد العملاء الذين يتبعونها وعدد العملاء الذين لديهم ترددات مُعدّلة، لأن التغيير سيصل إلى المجموعة الأولى فقط. توضح وثائق المراقبة المستمرة (يفتح في علامة تبويب جديدة) حقول السياسة والترددات المُعدّلة.
الأسئلة هي نفسها بالنسبة للقواعد: ما الذي تتوقع تغييره، ولمن، وما النتيجة التي ستجعلك تعكسه.
قائمة مراجعة لكل تغيير في القواعد
تغيير واحد لكل اختبار.
تم كتابة التأثير المتوقع قبل الاختبار، بما في ذلك شرط الرفض.
تم إجراء اختبار رجعي في نفس بيئة التغيير.
يتم قراءة الإشارات حسب الاتجاه، مع التحقق المتبادل من التنبيهات المؤكدة.
مراجعة ثانية لأي شيء يؤدي إلى فكّ السد أو إزالة الغطاء.
نُشرت كنسخة جديدة مع ذكر السبب.
مقارنة النتائج المباشرة مع التوقعات في تاريخ محدد.
إذا لم يكن بالإمكان تفسير التغيير بهذه المصطلحات، فإنه غير جاهز للتنفيذ.
المصادر
Charles Archibong
المؤسس المشارك
شارك تشارلز أرتشيبونغ في تأسيس شركة Toden. وهو يكتب عن التحقق من الهوية، والتكنولوجيا المالية، والعمل العملي لبناء خدمات رقمية موثوقة.
