मुफ़्त · साइन-अप की ज़रूरत नहीं
robots.txt टेस्ट और सत्यापन
हम आपकी साइट की robots.txt फ़ाइल पढ़कर नियम समूह, Sitemap लाइनें और जोखिम भरे नियम दिखाएँगे। कोई URL लिखें; तुरंत देखें कि कौन-सा बॉट उस तक पहुँच सकता है।
robots.txt कैसे काम करती है?
robots.txt आपकी साइट की रूट डायरेक्टरी में रखी वह फ़ाइल है जो बॉट को बताती है कि वे कौन-से पाथ क्रॉल कर सकते हैं। Google किसी URL से मेल खाने वाला सबसे लंबा (सबसे विशिष्ट) नियम लागू करता है; बराबरी होने पर Allow जीतता है।
robots.txt पेजों को इंडेक्स से नहीं हटाती, सिर्फ़ क्रॉलिंग रोकती है। अगर आप नहीं चाहते कि कोई पेज Google में दिखे, तो meta robots noindex का इस्तेमाल करें।
- User-agent: नियम किस बॉट पर लागू होते हैं
- Disallow और Allow: ब्लॉक किए गए और अनुमत पाथ (* और $ समर्थित)
- Sitemap: आपका XML sitemap URL
- नियम टेस्ट: Googlebot, Bingbot, GPTBot और दूसरे बॉट के लिए किसी URL की स्थिति
अक्सर पूछे जाने वाले सवाल
Disallow: / का क्या मतलब है?
संबंधित बॉट को पूरी साइट क्रॉल करने से रोकता है। अगर यह User-agent: * समूह में है, तो सभी बॉट ब्लॉक हो जाते हैं और साइट समय के साथ सर्च नतीजों से गायब हो सकती है।
क्या मुझे CSS और JS फ़ाइलें ब्लॉक करनी चाहिए?
नहीं। Google पेजों को ब्राउज़र की तरह रेंडर करता है; CSS और JS ब्लॉक होने पर वह पेज को सही से नहीं समझ पाता और उसे मोबाइल अनुकूलता की समस्याएँ दिख सकती हैं।
बदलाव कब लागू होते हैं?
Google आमतौर पर robots.txt फ़ाइल को 24 घंटे तक कैश में रखता है। Search Console की robots.txt रिपोर्ट से आप फ़ाइल को दोबारा क्रॉल करवा सकते हैं।
दूसरे मुफ़्त टूल
रीडायरेक्ट और HTTP हेडर301/302 चेन, HTTPS और सिक्योरिटी हेडर
XML sitemap जाँचURL की संख्या, त्रुटियाँ और lastmod
बल्क स्टेटस कोड जाँच20 URL तक का HTTP स्टेटस और रीडायरेक्ट
hreflang जाँचबहुभाषी साइटों में भाषा टैग
SEO विश्लेषण80 से ज़्यादा जाँचें, श्रेणी स्कोर और प्राथमिकता वाले सुझावलोकप्रिय
SEO साइट ऑडिट15 पेज तक की तकनीकी और ऑन-पेज जाँचलोकप्रिय
20 सेकंड में देखें कि आपकी साइट किस हाल में है।
मुफ़्त विश्लेषण से अपनी तकनीकी समस्याएँ और AI विज़िबिलिटी की कमियाँ जानें; फिर सुधार का काम AutoAiSeo पर छोड़ दें।
- कार्ड की ज़रूरत नहीं
- सेटअप 5 मिनट में
- जब चाहें रद्द करें