robots.txt nedir?

robots.txt, sitenin kök dizinindeki ve tarayıcılara hangi adresleri tarayabileceklerini söyleyen metin dosyasıdır; dizine eklemeyi değil taramayı kontrol eder.

Neden önemli?

Arama motoru ve yapay zekâ tarayıcıları bir siteye gelince önce /robots.txt dosyasını okur. Dosyadaki kurallar belirli tarayıcılar için ya da hepsi için bazı klasörlerin taranmasını engelleyebilir; site haritasının adresi de burada belirtilebilir.

robots.txt ile engellenen bir sayfa, başka sitelerden bağlantı alıyorsa içeriği okunmadan da dizinde görünebilir. Bir sayfayı dizinden çıkarmak için noindex kullanılır ve bunun için sayfanın taranabilir olması gerekir.

Nasıl yapılır?

  1. Dosyanın sitenizin kök adresinde açıldığını kontrol edin.
  2. Yalnızca gerçekten taranmaması gereken klasörleri engelleyin (yönetim paneli, sepet gibi).
  3. Site haritanızın adresini dosyaya ekleyin ve yapay zekâ tarayıcılarına izinlerinizi gözden geçirin.

Örnek

User-agent: *
Disallow: /sepet/
Disallow: /hesabim/

User-agent: GPTBot
Allow: /

Sitemap: https://www.ornek.com/sitemap.xml

Sepet ve hesap sayfaları taranmaz; OpenAI’ın GPTBot’una açıkça izin verilir ve site haritasının adresi bildirilir. Bu dosya bir sayfayı dizinden çıkarmaz, yalnızca taranmasını yönetir.

Sık yapılan hatalar

  • Yayına alırken geliştirme ortamından kalan “Disallow: /” satırını unutmak
  • Bir sayfayı dizinden çıkarmak için robots.txt kullanmak
  • CSS ve JavaScript dosyalarını engelleyip sayfanın doğru görüntülenmesini önlemek
Ücretsiz kontrol edin

robots.txt test aracı ile sitenizde bu konuyu birkaç saniyede kontrol edebilirsiniz. Kayıt gerekmez.

Aracı açın

İlgili terimler

noindexnoindex, bir sayfanın arama motoru dizinine eklenmemesini isteyen yönergedir; sayfadaki meta robots etiketiyle veya X-Robots-Tag HTTP başlığıyla verilir.XML site haritasıXML site haritası, bir sitedeki dizine eklenmesi istenen sayfaların adreslerini listeleyen ve arama motorlarının bu sayfaları bulmasını kolaylaştıran dosyadır.Yapay zekâ tarayıcılarıYapay zekâ tarayıcıları, GPTBot, ClaudeBot ve PerplexityBot gibi, yapay zekâ şirketlerinin model eğitimi veya canlı arama için web sayfalarını okuyan botlarıdır.

Sözlüğün tamamı

Siteniz 20 saniyede ne durumda, görün.

Ücretsiz analizle teknik sorunlarınızı ve AI görünürlük açıklarınızı öğrenin; ardından düzeltmeyi AutoAiSeo’ya bırakın.

  • Kart gerekmez
  • Kurulum 5 dakika
  • İstediğiniz an iptal
Ücretsiz analiz et