اختبار robots.txt والتحقق منه

كيف يعمل robots.txt؟

robots.txt ملف يوجد في الدليل الجذر لموقعك ويخبر البوتات بالمسارات التي يمكنها الزحف إليها. تطبّق Google أطول قاعدة (الأكثر تحديدًا) تطابق العنوان؛ وعند التساوي تفوز Allow.

لا يزيل robots.txt الصفحات من الفهرس، بل يمنع الزحف إليها فقط. وإذا كنت لا تريد ظهور صفحة في Google فاستخدم meta robots noindex.

• User-agent: البوت الذي تنطبق عليه القواعد
• Disallow وAllow: المسارات المحظورة والمسموح بها (يُدعم * و$)
• Sitemap: عنوان XML sitemap الخاص بك
• اختبار القواعد: حالة العنوان بالنسبة إلى Googlebot وBingbot وGPTBot والبوتات الأخرى