robots.txt, sitenizin kök dizinindeki bir metin dosyasıdır. Tarayıcıların hangi yolları taramasına izin verdiğinizi (veya engellediğinizi) söyler. Klasik SEO için tanıdık bir araç olsa da, AI ajanları çağında doğru ayarlanması kritik bir hâle geldi.
Neden önemli?
Modern AI ajanları (ChatGPT, Claude, Perplexity, Gemini) sitenizi taramadan içerik üretemez. Yanlış yapılandırılmış bir robots.txt:
- Tüm bot ailelerini engelleyebilir.
- Yanlışlıkla
/api,/admingibi gizli yolları ifşa edebilir. - Sitenizin leaderboard skorunu doğrudan düşürür.
Temel sözdizimi
User-agent: *
Allow: /
Disallow: /admin/
User-agent: GPTBot
Allow: /
Sitemap: https://siteniz.com/sitemap.xml
User-agent blokları belirli bir bot ailesini hedefler. * joker karakteri tüm botları yakalar; alta gelen daha spesifik bloklar onu ezmez, yan yana çalışır.
AI ajanları için doğru ayar
User-agent: * Allow: / User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: /
User-agent: * Disallow: / # Hiçbir bot içeriğinizi göremez.
Sık karşılaşılan hatalar
1. Tüm botları engellemek
"Trafik istemiyoruz" düşüncesiyle Disallow: / koymak, sitenizi AI ajanlarının dünyasından silmektir.
2. Path normalize etmemek
/blog ile /blog/ farklı yorumlanır. Hem son slash'lı hem slash'sız sürümü açıkça belirtin.
3. Sitemap'i unutmak
Sitemap: direktifi, ajanın hangi sayfaları öncelikleyeceğini bilmesine yardımcı olur.
İlgili kontrol
robots.txt geçerli mi?
AIDE her tarama döngüsünde robots.txt'inizi parse eder ve uyarır.
Sonuç
robots.txt küçük bir dosyadır ama AI ajanlarının sitenize bakışını temelden belirler. Bir sonraki adım: llms.txt dosyasıyla içeriğinizi ajanlara özet halinde sunmak.