Yapay zekâ tarayıcıları nedir?

Yapay zekâ tarayıcıları, GPTBot, ClaudeBot ve PerplexityBot gibi, yapay zekâ şirketlerinin model eğitimi veya canlı arama için web sayfalarını okuyan botlarıdır.

Neden önemli?

Bazı botlar modellerin eğitimi için, bazıları da asistan bir soruya cevap ararken sayfayı o an okumak için gelir. OpenAI’ın GPTBot, OAI-SearchBot ve ChatGPT-User botları gibi şirketler bu görevleri farklı adlarla ayırabilir. Google-Extended ise ayrı bir tarayıcı değil, robots.txt’te Gemini’nin kullanımını yöneten bir izin adıdır.

Bu botları robots.txt’te veya bir CDN ayarıyla engelleyen site, asistanların cevaplarında kaynak olarak görünme şansını azaltır. Birçok yapay zekâ tarayıcısı JavaScript çalıştırmaz; önemli içeriğin sayfanın HTML’inde bulunması gerekir.

Nasıl yapılır?

  1. robots.txt dosyanızda hangi yapay zekâ botlarına izin verdiğinizi kontrol edin.
  2. CDN veya güvenlik eklentilerinizin bot engelleme ayarlarına bakın.
  3. Önemli içeriğin JavaScript çalışmadan da sayfada göründüğünü test edin.

Örnek

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Bu kurallarla içerik OpenAI’ın model eğitiminde kullanılmaz ama ChatGPT’nin arama özelliği sayfaları okuyup kaynak gösterebilir. Hangi botlara izin verileceği bir iş kararıdır; önemli olan bunu bilerek seçmektir.

Sık yapılan hatalar

  • Bütün botları bilmeden engellemek
  • Bilgileri yalnızca JavaScript ile yüklemek
  • Eğitim ve arama botlarını aynı sanmak
Ücretsiz kontrol edin

AI bot erişim kontrolü ile sitenizde bu konuyu birkaç saniyede kontrol edebilirsiniz. Kayıt gerekmez.

Aracı açın

İlgili terimler

robots.txtrobots.txt, sitenin kök dizinindeki ve tarayıcılara hangi adresleri tarayabileceklerini söyleyen metin dosyasıdır; dizine eklemeyi değil taramayı kontrol eder.llms.txtllms.txt, sitenin kök dizinine konan ve büyük dil modellerine sitenin ne olduğunu ve en önemli sayfalarını Markdown biçiminde özetleyen bir dosya önerisidir.GEOGEO, bir markanın ChatGPT, Gemini, Perplexity ve Google’ın yapay zekâ özetleri gibi üretken yapay zekâ cevaplarında anılması ve önerilmesi için yapılan çalışmalardır.

Sözlüğün tamamı

Siteniz 20 saniyede ne durumda, görün.

Ücretsiz analizle teknik sorunlarınızı ve AI görünürlük açıklarınızı öğrenin; ardından düzeltmeyi AutoAiSeo’ya bırakın.

  • Kart gerekmez
  • Kurulum 5 dakika
  • İstediğiniz an iptal
Ücretsiz analiz et