ChatGPT ve Yapay Zeka Tarayıcılarına Erişim Nasıl Yönetilir?
Search/retrieval crawler erişimini eğitim ve ürün kontrol sinyallerinden ayırın. robots.txt politikasını bilinçli kurun ve gerçek erişimi ölçün.
Eğitim Botları ile Gerçek Zamanlı Arama Botları Arasındaki Fark
Web yöneticilerinin en sık yaptığı hata tüm yapay zeka botlarını aynı kefeye koymaktır. Yapay zeka şirketleri iki farklı bot kategorisi işletir:
- Model Eğitim Botları (Örn. GPTBot, ClaudeBot): Gelecekteki temel modelleri eğitmek için herkese açık metinleri toplu olarak kazır.
- Arama ve Kaynak Botları (Örn. OAI-SearchBot, Claude-SearchBot, PerplexityBot): Kullanıcılar soru sorduğunda web sitelerini gerçek zamanlı tarayarak özetleyen ve kaynak gösteren botlardır.
Robots.txt Dosyasını Güvenle Yapılandırma
Telif haklı içeriklerinizin toplu eğitimde kullanılmasını istemiyor ancak ChatGPT Search ve Perplexity gibi arama motorlarında kaynak gösterilmek istiyorsanız şu ayrımı yapın:
# Gerçek zamanlı arama botlarına izin verin
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# Çevrimdışı eğitim botlarını kısıtlayın veya engelleyin
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Joker Karakter (*) Tuzağı
RFC 9309 standardına göre botlar kendi adlarıyla en çok eşleşen kuralları uygular. Eğer bota özel bir blok yoksa genel User-agent: * kuralına geri döner. Genel blokta Disallow: / varsa ve özel kural tanımlamamışsanız tüm AI arama botları da engellenir.
Tespit edilen teknik engelleri mühendislik ekibiniz için kök neden, kabul testleri ve geri alma planlarıyla çözmek için $99 Tam Site Düzeltme Talimatı ürününü inceleyin.