كيفية حظر الروبوتات السيئة

قال أحد عملائنا مؤخرًا إنهم لا يحظرون أبدًا الروبوتات السيئة، لأنه في كل مرة يحظرونها، يعودون على أي حال، غالبًا بهجوم كبير وأكثر استدامة وأكثر ضررًا. كان الموقف ببساطة، «مهما فعلنا، فإنهم يعودون على أي حال، فما الفائدة؟ عند المد العالي التالي، سيتم ببساطة جرف قلعتنا الرملية الدفاعية.

‍

إذا كانت أداتك الوحيدة هي المطرقة، فسيصبح عملاؤك المسمار

إذا كنت تعتمد على تقنيات WAF الحالية أو سمعة IP أو بصمة المدرسة القديمة أو تقنيات الكشف عن CAPTCHA فقط، فمن المؤسف أن يكون هذا هو الواقع بالنسبة للكثيرين. يمكن أن يؤدي الحظر إلى نتائج عكسية حقًا. يبدو أن حظر عناوين IP ومجموعة من عناوين IP والبلد بأكمله أو اثنين يعمل لفترة من الوقت حتى تجرب الروبوتات نطاق IP جديدًا أو تبدأ في الاستخدام شبكات الروبوت أو الوكلاء السكنيون لتجنب الاكتشاف. إذا قمت بزيادة مصادقة الحساب، على سبيل المثال، عن طريق إضافة MFA لجميع المستخدمين، فستعاني دائمًا من اضطراب العملاء، وتكاليف أكبر بكثير للدعم والإعداد. إجبار جميع المستخدمين على إجراء اختبار CAPTCHA، على سبيل المثال، سيؤدي حتمًا أيضًا إلى زيادة جذب العملاء وانخفاض المبيعات.

‍

بعد أن تم حظره في البداية، قد يكون الهجوم أقوى من الهجمات السابقة. لدى مهاجم الروبوت وظيفة يقوم بها، وهو يكسب المال بشكل فعال من استغلال خدماتك. لقد جعلت الحياة أكثر صعوبة بالنسبة لهم، لذلك من المحتمل أن يعيدوا استخدام الأدوات ويحاولون مرة أخرى.

‍

يعد حظر الروبوتات الضارة أمرًا ضروريًا للغاية. المفتاح هو فهم الروبوتات التي يجب حظرها، وفهم التهديد بالكامل وتفصيله حسب مجموعة المخاطر، حتى تتمكن من التعامل مع كل مجموعة من الزوار بمجموعة مناسبة من الاستجابات المخصصة وفقًا لتهديدها الفعلي. المفتاح ليس حظر الروبوتات، بل معرفة الروبوتات التي يجب عليك حظرها، وتحسين تجربة المستخدم الإجمالية لكل ما لديك زوار شرعيون دون معاقبتهم.

‍

اكتشاف الروبوتات السيئة وإدارتها

في VerifiedVisitors لدينا نهج مختلف تمامًا. الدليل موجود في الاسم. نحن ندعم أولاً زوارك الفعليين الذين تم التحقق منهم، والذين من المرجح أن يكونوا أكثر عملائك ولاءً وقيمة. عادةً ما يعود العملاء إلى الخدمة، ولديهم أنماط سلوك يمكن التعرف عليها بسهولة. تتعلم منصة الذكاء الاصطناعي الخاصة بنا من حركة المرور الفعلية على موقع الويب الخاص بك، وتبدأ في بناء مجموعات من الزوار وفقًا لمجموعة كاملة من أجهزة الكشف عن التهديدات، بما في ذلك السلوك الفعلي. عندما نتعلم المزيد عن الزوار الفعليين الذين تم التحقق منهم، يمكننا أن نثق تدريجيًا في هذه البيانات. لديهم زيارات متكررة وسلوك طبيعي واجتازوا بصمات الأصابع المعقدة واختبارات المنصة، ولديهم مسارات ماوس صالحة. هذا يعني أنهم بدأوا في كسب ثقتنا، على الرغم من أنهم لا يزالون يخضعون للمراقبة بنشاط.

‍

في سطح مخاطر بوابة الزائر الذي تم التحقق منه خريطة المنطقة، يمكنك أن ترى بوضوح جزء حركة مرور VerifiedVisitor باللون الأخضر. إن تحديد حركة الزوار البشرية الأساسية يعني أنه يمكننا السماح لمستخدمينا الذين تم التحقق منهم بالاستمرار في الاستمتاع بمزايا الخدمات، دون معاقبتهم، أو معاملتهم كما لو كانوا روبوتات أو يحتمل أن يكونوا خبيثين.

‍

‍

التعرف على حركة مرور البوت الجيدة

بعد ذلك نريد أيضًا إزالة جميع حركة بوت جيدة - الروبوتات الجيدة مثل Googlebot يريد الجميع فهرسة موقع الويب الخاص بهم. لماذا؟ تتنكر الروبوتات السيئة في زي هذه الروبوتات الجيدة، وبمجرد إدراجها في القائمة البيضاء من قبل WAF يمكن أن تسبب دمارًا مطلقًا بمجرد وصولها خلف جدار الحماية. نعم، يمكنك إدارة هذا يدويًا في robots.txt، والبحث عن المصدر الرقمي لكل روبوت جيد، ونطاق IP، وعكسي DNS الخاص به، ومراقبة ذلك بمرور الوقت، والتحقق بانتظام من سجلاتك بحثًا عن برامج زحف وكيل المستخدم الجديدة. إذا كنت تقوم بفحص المدونات الإلكترونية والقيام بذلك يدويًا اليوم، فهذا مضيعة كبيرة للوقت. يحتوي VerifiedVisitors على أكثر من 40 فئة من الروبوتات ومحرك التوصية الذي يمكنك تطبيقه ببساطة. سيؤدي هذا إلى بناء حياتك قائمة وصول بوت جيدة على الفور. لدينا أيضًا أداة تقوم بمزامنة ملف robots.txt الحالي الخاص بك لضمان تطبيق سياسة البوت المعلنة بالفعل، وليس مجرد تسجيل الدخول في robots.txt. يستخدم VerifiedVisitors محرك الذكاء الاصطناعي الخاص بنا، للتحقق من كل روبوت جيد، ويضمن أن سلوكه متسق على سبيل المثال مع googlebot الحقيقي، وأنه يحتوي على التوقيع الرقمي الصحيح والمصدر الرقمي. الآن تتم إدارة كل من الروبوتات الجيدة والزوار الذين تم التحقق منهم. يمكنك الآن التركيز على الروبوتات السيئة.

‍

روبوتات وهمية

الروبوتات المزيفة هي ببساطة روبوتات جيدة مزيفة - منتحلون يتنكرون في هيئة خدمات شرعية معروفة على أمل أن يتم إدراجهم في القائمة البيضاء. هذه الروبوتات المزيفة مخادعة للغاية، ومن السهل جدًا إضافتها إلى القائمة البيضاء إذا لم تكن متيقظًا باستمرار، أو لا تستخدم أدوات آلية مثل الزوار الذين تم التحقق منهم بنشاط في المكان لمراقبة وإدارة قائمة وصول الروبوتات الجيدة الخاصة بك.

‍

فئة مؤتمتة محتملة

من المحتمل أن تكون الفئة الآلية هي الفئة التي نستخدمها للأنشطة المشبوهة من الزوار والتي يبدو من المرجح أن تكون مدفوعة بالروبوتات، ولكنها ليست نهائية تمامًا. على سبيل المثال، ربما فشلوا جزئيًا في بعض اختبارات النظام الأساسي أو اللوحة القماشية أو بصمات الأصابع، لكنهم اجتازوا اختبارات أخرى، ونشأوا في مراكز البيانات. غالبًا ما تحتاج مجموعة الزيارات إلى مزيد من التحليل، وهنا تمتلك VerifiedVisitors مجموعة من التقنيات التي يمكننا استخدامها لتحويل هذه المجموعة إلى بشرية أو آلية. على سبيل المثال، نستخدم على نطاق واسع:

• الاختبار السلوكي: تتعلم منصة الذكاء الاصطناعي الخاصة بنا من أنماط حركة المرور الفعلية على واجهة برمجة التطبيقات أو مواقع الويب الخاصة بك. إذا كانت حركة المرور الآلية المحتملة تعرض سلوكًا من نوع الروبوت، فمن الأرجح أنها في الواقع روبوت.
• اختبار إضافي قائم على الذكاء الاصطناعي: إذا كنا نشك بشدة في أن حركة المرور عبارة عن روبوت، فإن إبطائها وإجراء تحليل إضافي غالبًا ما يكون أسلوبًا جيدًا. بعد كل شيء، لا أحد يهتم بوقت استجابة البوت في هذه المرحلة. يتيح لنا ذلك جمع بيانات إضافية والقياس عن بُعد، مثل المزيد من بيانات مسار الماوس، أو اختبارات اللوحة القماشية الأخرى الأكثر تفصيلاً، حتى نتمكن من استنتاجها على أنها روبوت بالتأكيد أو عدم استخدام نقاط بيانات إضافية.
• تحدي البوت: قد نقدم للبوت اختبار CAPTCHA لمراقبة ما إذا كان يمر أو يفشل. يرجى ملاحظة أنه إذا نجح الروبوت فهذا لا يعني أنه مصنف على أنه إنسان! هذا يعني ببساطة أنه تم التحقق منه بشكل أكبر لإثبات أصله الحقيقي. غالبًا ما تجتاز الروبوتات اختبار CAPTCHA ولكنها تترك توقيعاتها الفريدة - على سبيل المثال، غالبًا ما يؤدي استخدام مزارع CAPTCHA إلى تأخير كبير، حيث يتم تمرير اختبار CAPTCHA إلى خدمة لإكمالها البشري، غالبًا في الخارج.
• فخاخ العسل: تغذية الروبوتات بمحتوى مزيف لن يجده الإنسان، ولكن الروبوت سينتقل من الزحف إلى الصفحة.
• الحجب: قد يكون هذا خيارًا - خاصةً إذا كانت حركة المرور الآلية المحتملة تعرض علامات سلوكية للهجوم، على سبيل المثال، قد يستهدف الروبوت بوابة دفع أو واجهة برمجة تطبيقات أو منطقة أخرى أكثر حساسية من الخدمة..

‍

الروبوتات الآلية

لقد فشلت الروبوتات الآلية في الاختبارات الأساسية وأثبتت أنها روبوتات. على الرغم من أنها قد لا تستهدف بنشاط مسارات تسجيل دخول العملاء، إلا أنها تمثل تهديدًا حقيقيًا. يعد الحظر مرة أخرى خيارًا جيدًا هنا، حيث نعلم أن حركة المرور هذه هي بالتأكيد روبوت. يحتوي VerifiedVisitors على قواعد ديناميكية - لذلك بمجرد وضع قاعدة تحظر حركة مرور الروبوت الآلية من مسار أو نطاق أو خدمة API معينة، يتم حظرها - بغض النظر عن الطريقة التي يحاول بها الروبوت تدوير وكلاء المستخدم أو IP أو إخفاء أصوله.

‍

روبوتات الاستحواذ على الحساب

من حيث مستويات التهديد لدينا، هذه تعد روبوتات الاستحواذ على الحساب من بين أكبر التهديدات إلى عملك. إنهم يستهدفون بنشاط مسارات تسجيل الدخول إلى الحساب، ويتم تشغيلها تلقائيًا. هذا النوع من الهجوم لا يمكن تحمله، تحتاج إلى حظر حركة المرور هذه بنشاط على حافة الشبكة، قبل أن تتاح لهم فرصة إحداث أي ضرر. يمثل تسجيل دخول الروبوتات إلى الحسابات الفعلية خرقًا للبيانات، حتى لو كان حظًا موحشًا، لا يهم، فهو لا يزال خرقًا للبيانات.

‍

أهمية إدارة البوت

في المشهد الحالي، حيث أصبحت الروبوتات متطورة بشكل متزايد، الاستثمار في حل قوي لإدارة الروبوتات أمر بالغ الأهمية. كان يجب بناء مثل هذا الحل من الألف إلى الياء باستخدام الذكاء الاصطناعي والتعلم الآلي لاكتشاف أنشطة الروبوتات في الوقت الفعلي والتخفيف من حدتها بوت ضار الأنشطة تلقائيًا.

‍

استراتيجية شاملة لإدارة البوت تمكنك من:

• إدارة مجموعات الزوار وفقًا للمخاطر.
• حدد الزوار الذين تم التحقق منهم.
• استخدم محرك التوصية لأتمتة قائمة وصول جيدة شاملة للروبوت.
• احصل على مجموعة واسعة من وسائل تخفيف الروبوتات المصممة خصيصًا لكل نوع من أنواع تهديدات الروبوت..

‍

صورة بواسطة جايمي سبانيول في أونسبلاش