روبوتات الوظائف والمهن

يقوم هذا الروبوت بمسح الويب بحثًا عن الوظائف والبيانات المهنية ويستخدم المحتوى لـ monster

روبوت الزحف إلى الوظائف باللغة الألمانية يقوم بمسح صفحات الوظائف على مواقع الويب. يخضع هذا الروبوت لـ robots.txt بالإضافة إلى فهرس العلامات الوصفية للروبوتات /noindex ومتابعة/nofollow. بالإضافة إلى ذلك، يتبع MetaJobBot معايير «الأدب» التالية: هناك ما لا يقل عن 5 ثوانٍ بين وصولين متتاليين من نفس المجال وبين وصولين وهو ما لا يقل عن 7 أضعاف أوقات الاستجابة الأخيرة التي تمت ملاحظتها.

تقوم بوابة الوظائف التي تتخذ من هولندا مقراً لها بجمع بيانات الوظائف لتجميعها في سوق العمل الهولندي.

زاحف الوظائف المجري. يزحف إلى صفحات الويب لقوائم الوظائف. هذا البوت يخضع لملف robots.txt