ما مدى فعالية برنامج إدارة البوت؟
ستخبرك منصات إدارة الروبوتات أن تخفيف تأثير الروبوتات الخاص بها ناجح بنسبة 100٪، أو في بعض الأحيان، لكي تكون أكثر «واقعية»، يتم تحديد معدل النجاح السحري البالغ 99.99٪. «ثق بنا، ثق بنا»، يقولون، «لدينا هذا.»
يعمل بعض البائعين على الرياضيات بطريقة أخرى، ويظهرون أن معدلهم الإيجابي الكاذب (عدد البشر الذين يتم الخلط بينهم وبين الروبوتات) يصل بطريقة سحرية إلى أقل من 0.01٪، لكنهم بطريقة ما يفشلون تمامًا في ذكر المعدل السلبي الكاذب (كمية الروبوتات التي يتم الخلط بينها وبين البشر)، وهو الرقم الوحيد الذي يجب أن تهتم به حقًا. للحصول على مناقشة حول المعدلات الإيجابية الكاذبة والسلبية الكاذبة، يرجى الاطلاع على دقة اكتشاف البوت هنا.
تتمتع الروبوتات كخدمة (BaaS) بمعدل نجاح 99.99٪
وفي الوقت نفسه، الأحدث الروبوتات كخدمة (BaaS)) يتباهون بأن لديهم معدل نجاح بنسبة 99.99٪ في تجنب اكتشاف الروبوت هذا في المقام الأول.
كلاهما لا يمكن أن يكون على حق. إذن ما الذي يحدث على الأرض؟
ردنا بسيط للغاية. من فضلك لا تثق بنا.
لدينا نموذج انعدام الثقة لسبب ما.
تتيح ميزات «التشغيل» لعملائنا معرفة الزوار الذين تم حظرهم بالضبط ولماذا، حتى يتمكنوا من التحقق من صحة المعلومات والتحقق منها بشكل مستقل في SOC، أو استخدام SIEM أو أدوات التحليل الأخرى التي قد تكون لديهم.
الأرقام الرئيسية مثل معدلات الفعالية بنسبة 99.99٪، أو معدلات الإيجابيات الكاذبة بنسبة 0.01٪، لا تعني شيئًا حقًا. فقط لأننا فعالون بنسبة 99.99٪ لجميع عمليات اكتشاف الروبوتات عبر جميع العملاء أمر لا معنى له. يمكن أن يكون 0.01٪ هو الروبوت الضار حقًا الذي يقوم حاليًا بتسلل بياناتك.
إن اعتماد نموذج انعدام الثقة يعني أننا نقدم لعملائنا طريقة منهجية لقياس حركة مرور الروبوتات والتحقق من صحتها.
إحدى الطرق التي نقوم بها بذلك هي قياس أدائنا باستمرار. ضد أحدث التهديدات.
الروبوتات كتهديد لمزود الخدمة (Baas).
قمنا بمراجعة 10 من الروبوتات كخدمة (BaaS) موفرو الخدمة واختاروا بعضًا من أفضلهم لتجنب اكتشاف الروبوتات. على الرغم من أننا لا نستطيع الخوض في كل شخص، فقد اخترنا استخدام Brightdata، حيث يبدو أن نظامهم الأساسي قوي ويدعي أنه الأكثر فعالية في تجنب اكتشاف الروبوتات. تدعي Brightdata معدل نجاح صحي بنسبة 99.99٪ مقابل مواقع الويب، وليس ذلك فحسب، بل تدعي على وجه التحديد أنها تتمتع بأعلى معدل نجاح في «الصناعة».
قمنا بإعداد اختبار مباشر حقيقي لمعرفة ما إذا كان بإمكاننا تجاوز دفاعات الروبوت الخاصة بنا باستخدام Brightdata في فيديو الروبوت المباشر لفريق Red Team Versus Blue Team. (للفيديو، يرجى الاطلاع هنا).
يمكنك أن ترى في لقطة الشاشة معدل النجاح بنسبة 99.99٪ الذي تطالب به Brightdata. لديهم مجموعة من القوالب لمواقع الويب المعروفة للغاية، مثل Amazon و Linkedin و Zara و Hermes و Ikea و Google و Yelp و TrustPilot و AirB&B - مئات المواقع المعروفة للغاية مرتبة حسب الفئة.
مشاكل في بصمة جافا سكريبت للروبوتات
يعمل اكتشاف الروبوتات القديمة بشكل أساسي باستخدام بصمة JavaScript، وهذا هو كل طلب وارد. تمامًا مثل حارس النادي الذي يفحص الشاربين بحثًا عن بطاقة الهوية، يتم تشغيل بصمة الإصبع على كل عميل وارد، وتأخذ لقطة من المنصة، وتضع معرفًا لذلك الزائر.
هناك أربع مشاكل فورية في نهج البصمات هذا.
- جافا سكريبت متاحة للجمهور ويمكن إجراء هندسة عكسية لها. على الرغم من أن JS هي مشوشة، نظرًا للصبر الكافي، يمكن فك تشفيرها للكشف عن نطاق القيم المطلوبة لاجتياز اختبارات بصمات الأصابع.
- يجب على الزائر فحص بصمة الإصبع مرة واحدة على الأقل، قبل تطبيق قواعد التوقيع. إذا قمت ببساطة بتدوير كل زائر بعد الزيارة الأولى، فلن تظهر أبدًا كزائر متكرر في المقام الأول، وتتجاوز بصمة الإصبع فقط. وهذا يعني درجة عالية جدًا من الدوران، ويستلزم مجموعة كبيرة من الوكلاء.
- يمكن أن يؤدي استخدام الأجهزة الحقيقية التي تحتوي بالفعل على بصمات أصابع صالحة مرة أخرى إلى تجاوز اكتشاف بصمات الأصابع بدقة. سيتم اجتياز جميع عمليات التحقق المرتبطة بالقماش والماوس والمنصة.
- بدلاً من الوصول إلى الموقع الفعلي باستخدام بصمة الإصبع، سيؤدي الوصول إلى خادم CDN المخزن مؤقتًا إلى تجاوز بصمة الإصبع.
إذن كيف تتجنب Brightdata اكتشاف البوت؟
تحتوي Brightdata على مجموعة واسعة من الوكلاء ومجموعة كبيرة من عناوين IP، بحيث يمكن ضبطها لتدوير الوكلاء بسرعة كبيرة، بحيث تكون كل زيارة هي الزيارة الأولى. كما رأينا، يعد هذا تجاوزًا فعالًا لوكلاء بصمات الأصابع JS. سوف تتجاوزهم في كل مرة. هذا أسهل بكثير من إزالة التشويش على JavaScript ويعني أنك لست مضطرًا إلى إجراء هندسة عكسية لقيم بصمات الأصابع المتوقعة. تقليديًا، كان هذا يعني امتلاك الروبوتات الخاصة بك، أو الوصول إلى واحدة، بحيث يمكنك شن ملايين الهجمات من عنوان IP جديد في كل مرة. كان هذا مكلفًا ويستغرق وقتًا طويلاً ولم يكن فعالًا تمامًا، حيث يتم التقاط عنوان IP الخاص بالبوت نت بسرعة بواسطة خدمات سمعة IP، إذا تم استخدامها في هجمات واسعة النطاق بمرور الوقت.
البنية التحتية للبروكسي بوت كخدمة
تستخدم Brighdata العديد من أنواع البروكسي، مما يسمح لك باختيار التركيبة المناسبة للهدف المحدد. على سبيل المثال، يمكنك شراء حزمة من الهواتف المحمولة أو بروكسيات ISP السكنية، وقم بتعيين حوض السباحة كبيرًا بما يكفي بحيث يمكنك تدوير الروبوتات في كل مرة. كما ترى في لقطات الشاشة، ما عليك سوى اختيار الحزمة التي تحتاجها، وستكون جاهزًا تمامًا. مع وجود الملايين من عناوين IP المحلية أو بوابات الهاتف المحمول التي تستخدم بوابات ASN المحمولة الكبيرة، أصبح من المستحيل تقريبًا استخدام خدمات سمعة IP لإيقاف هجمات الروبوتات هذه.
بروكسيات الجوال لهجمات البوت
تعد بروكسيات الجوال من بين أكثر الوكلاء فعالية، وكذلك الأغلى كما ترون في قائمة الأسعار. تستخدم هذه الهواتف المحمولة الحقيقية، المنظمة في مزارع النقر، وعادة ما تكون مرتبطة بـ ZIP بشريط متحرك لتشغيل مقياس التسارع لخداع بصمة الإصبع للاعتقاد بأنها تستخدم بنشاط من قبل المستخدمين البشريين. غالبًا ما تجد مواقع e-com عملاءها الأكثر قيمة يتسوقون على الأجهزة المحمولة، ويعطون الأولوية لزوار الأجهزة المحمولة وفقًا لذلك. يستخدم الوكلاء أجهزة حقيقية، لذا مرة أخرى، ستفشل عملية أخذ البصمات في جميع الاحتمالات. والأسوأ من ذلك، تم تصنيف الروبوت الآن كزائر بشري.
بروكسيات IP السكنية لهجمات البوت
الخيارات الأرخص ولكن لا تزال فعالة للغاية هي الوكلاء السكنيون باستخدام أجهزة حقيقية. يجتاز الجهاز الحقيقي عمليات التحقق من بصمات الأصابع ولا يمكن حظر عنوان IP السكني بسمعة IP القديمة دون التسبب في العديد من الإيجابيات الكاذبة.
تتضمن القائمة عناوين IP لمركز البيانات، والتي تبدو في البداية غير بديهية؟ لا يعيش البشر في مراكز البيانات، فلماذا يتوفر هذا الخيار؟ يمكن استخدام عناوين IP لمركز البيانات، على سبيل المثال، لهجوم التنقيب عن بيانات API. تتوقع واجهة برمجة التطبيقات روبوتات من مراكز البيانات، وقد تحظر عناوين IP السكنية.
بمجرد تعيين الوكلاء وفقًا لثغرات الضحية المستهدفة، فإن المرحلة التالية هي نشر نصوص الروبوت.
سكربتات بوت
يحتوي Brightdata على سلسلة من القوالب لجعل استهداف مواقع الويب أسهل بكثير. يتم تنظيمها حسب الفئة كما ترى أدناه، وتشمل بعضًا من أكبر مجموعات البيانات الاقتصادية والعامة في العالم. تم تخصيص هذه البرامج النصية لكل موقع، على سبيل المثال لمواقع تطبيق الصفحة الواحدة (SPA)، أو التطبيقات الأخرى الأكثر تعقيدًا، حيث يتعذر الزحف البسيط لكل عنوان URL. تدعي شركة Brightdata أيضًا تجاوز اختبار CAPTCHA.
من أجل الاختبار الذي أجريناه، قمنا بنشر برنامج نصي بسيط للكشط وقمنا بتحرير الحقول لبدء عملية الكشط.
هجوم البوت
مسلحًا بنص الروبوت الخاص بنا والبنية التحتية للوكيل، يمكننا الآن شن هجوم الروبوت الخاص بنا. على الرغم من أننا اخترنا الكشط، يمكن استهداف الروبوتات لتنفيذ أي نصوص مخصصة، لاستهداف ما تريد على البنية التحتية للهدف. للتلخيص فقط، سيتجاوز هجوم الروبوت الآن تقنيات اكتشاف الروبوتات القديمة التالية:
❌ فشلت سمعة IP مع الملايين من البروكسيات السكنية والمتنقلة
❌ فشل توقيع JS حيث تدور الروبوتات في كل طرف في كل مرة
❌ يتم تجاوز حد معدل WAF عن طريق إبطاء الروبوتات لتقليد الزيارات البشرية باستخدام برنامج نصي مخصص. الروبوتات لا تهتم، يمكن أن تسير ببطء وانخفاض.
❌ إجراء اختبار CAPTCHA في جميع الزيارات - تتجاوز الروبوتات الكابتشا.
❌ سيؤدي إصدار صفحة تحدي لكل طلب للحصول على مزيد من بصمات الأصابع إلى جعل الموقع غير قابل للاستخدام، وقد يجتاز العملاء الوكيلون الذين يستخدمون أجهزة حقيقية اختبار البصمة.
كيف يعمل الزوار الذين تم التحقق منهم؟
تتعلم VerifiedVisitors من حركة المرور الخاصة بك من خلال منصة الذكاء الاصطناعي الخاصة بنا حتى لا نتمكن من مساعدتك في إدارة تهديدات الروبوتات فحسب، بل نضمن إعطاء الأولوية لعملائك ومعاملتهم مثل كبار الشخصيات، بدلاً من التعامل مع شيء أقل من البشر باستخدام أساليب CAPTCHA الحالية.
تحدد منصة VerifiedVisitors AI الزوار وتضعهم في مجموعات كما هو موضح في لقطة الشاشة. يمكنك أن ترى بوضوح، حسب نوع المخاطر، كل مجموعة مقسمة حسب التهديدات الفعلية التي يتم التحقق منها ديناميكيًا بمرور الوقت. هذا يسمح لنا بالثقة ولكن التحقق، على سبيل المثال بالنسبة للزوار المتكررين والروبوتات الجيدة المعروفة، يمكننا استخدام ML لتتبع السلوك بمرور الوقت للتأكد من أنهم زوار شرعيون تم التحقق منهم ونريدهم بالفعل.
لإيقاف هجمات Brightdata، نحتاج بعد ذلك إلى وضع قاعدتين ديناميكيتين:
- القاعدة 1 هي اختيار مجموعة الزوار لأول مرة، من الزوار الذين لم نرهم من قبل. سيشمل هذا حتمًا الزوار البشريين وكذلك الروبوتات.
- تقدم القاعدة 2 صفحة تحدي لهذه المجموعة الجديدة من الزوار فقط، وتجري فحصًا لبصمة العميل لتحديد ما إذا كان إنسانًا أم روبوتًا. في مرحلة الزائر الأولى، تسمح لنا عمليات التحقق هذه بالبحث عن العلامات المنبهة لمنصة الروبوت نفسها المستخدمة لشن هجمات الروبوت. نحن نستخدم مئات الإشارات للبحث عن هذه العلامات. يجب أن تقوم منصات الروبوتات كخدمة بتصحيح كل قيمة إشارة - علينا فقط اكتشاف خطأ أو اثنين وعدم الاتساق في بصمة النظام الأساسي.
هذا النوع من الهجوم متطرف للغاية. من النادر أن تقوم هجمات الروبوتات بإرسال طلب واحد فقط وتدويره في كل مرة. ومع ذلك، حتى في هذه الحالة القصوى، يمكننا تحديد مجموعة التهديدات، ومن ثم التخفيف من حدة الهجوم بنجاح دون التأثير على الزوار المتكررين الشرعيين والمستخدمين العاديين للخدمة.
فوائد الحماية الجماعية للذكاء الاصطناعي؟
✅ تعامل عملائك مثل كبار الشخصيات وتضمن عدم تأثرهم بأي قواعد
✅ يمكن حظر حركة مرور البوت قبل أن تصل إلى موقع الويب حتى لا تعاني من أي طفرات أو وحدة معالجة مركزية إضافية أو عرض نطاق ترددي، ويفشل الروبوت ببساطة.
✅ صفحة الانتظار سريعة، وتستغرق عادةً من ثانية إلى ثانيتين ولا تتطلب اختبار CAPTCHA أو أي تحدٍ آخر. يمكن أيضًا تصميمه خصيصًا مع الرسائل أو صفحات المنتجات أو تحديثات الخدمة أو غيرها من المعلومات القيمة التي تريد تقديمها للعميل
✅ تصفية الروبوتات تجعل من السهل جدًا رؤية الزوار الحقيقيين وفهم تحليلاتك لمساعدتك على التحويل. على سبيل المثال، تحتوي كل مرة على نسبة من معدلات التخلي السريع، وعادة ما تكون أقل من 30 ثانية. ما مقدار حركة المرور هذه من حركة مرور الروبوتات، أو علامة تدل على أن العملاء لا يحبون حقًا تصميم موقع الويب الخاص بك؟ إن فهم الزوار الحقيقيين الذين تم التحقق منهم الذين يصلون إلى موقعك، يسمح أيضًا للذكاء الاصطناعي باكتشاف الحالات الشاذة. على سبيل المثال، يعد الارتفاع الكبير في عدد الزوار لأول مرة الذين لا يقومون بالتحويل مطلقًا، ولكن يتم توزيعهم ببساطة عبر الموقع، والزحف إلى الصفحات بالتتابع بمرور الوقت علامة أكيدة على حدوث هذا النوع من هجوم تجريف الروبوتات.
كيف تتراكم نسبة نجاح الروبوتات كخدمة (BaaS) بنسبة 99.99٪؟
الآن بعد أن أظهرنا لك الإرشادات التفصيلية لـ Brightdata، كيف يتراكم معدلها البالغ 99.99٪؟ بدون القياس بالتأكيد عبر مجموعة معيارية من نقاط النهاية المستهدفة، من الصعب الجزم بذلك. كما رأينا، يمكن اكتشافه بالتأكيد، ولكن يمكننا بالتأكيد القول أنه سيهزم طرق اكتشاف الروبوتات القديمة بسهولة كما أوضحنا أعلاه. إن تقديم CAPTCHA أو صفحة التحدي لكل زائر سيجعل الموقع غير قابل للاستخدام.
تعتبر العديد من الشركات ببساطة محتوى موقع الويب الخاص بها كمحتوى تسويقي تمت الموافقة على طرحه للجمهور. إذا تم كشطها، فليكن الأمر كذلك. ومع ذلك، فإن ما لا يأخذه هذا في الاعتبار هو التنقيب المنهجي للبيانات لجميع مجموعات البيانات المعنية. على سبيل المثال، قد لا تقلق AirB&B بشأن التسويق عبر الإنترنت أو حذف بعض القوائم، ولكن من المؤكد أن التنقيب المنهجي عن البيانات لكل قائمة في بلد أو منطقة معينة يمثل تهديدًا خطيرًا لنموذج أعمالها وعنوان IP الخاص بها.
مقاييس دقة اكتشاف البوت
لا تمتلك الغالبية العظمى من موردي اكتشاف الروبوتات نموذجًا قويًا لمصفوفة الارتباك، لأنهم لا يستخدمون التعلم الآلي في قلب نموذج الاكتشاف الخاص بهم. نماذجهم لا تنظر إلى الصورة الكاملة.
عندما تقوم VerifiedVisitors بتطوير نماذجنا، فإننا نريد إعطاء الأولوية للكشف عن السلبيات الكاذبة على الإيجابيات الكاذبة.
لماذا؟ السبب بسيط، إذا تحدينا نسبة إضافية صغيرة من البشر فإننا لا نخرق ثقتنا الصفرية. عندما نسمي الروبوت على أنه إنسان وننشئ السلبية الكاذبة، نحتاج إلى تجنب ذلك بأي ثمن. تخلق السلبيات الكاذبة المشكلة الحقيقية، حيث أننا انتهكنا مبادئ عدم الثقة، وسمحنا للروبوت بالوصول إلى مساحتنا المحمية.
ثق في وضع التشغيل
يحتوي VerifiedVisitors على وضع التشغيل الذي يسمح لك بإعداد القواعد والأتراب التي تريدها، ثم التحقق من نتائج أجهزة الكشف عن منصة الذكاء الاصطناعي. يتيح لك ذلك قياس التأثير القابل للقياس الكمي لتخفيف الروبوت وضمان جودة أجهزة الكشف. المقياس الحقيقي الوحيد المهم هو مدى فعالية منع الروبوت في نقاط النهاية الخاصة بك. التركيز على إطار منظم وتحليلي لقياس هذا هو المهم. كل ما تبقى هو زغب تسويقي.
