AI Botları Kapsamlı Listesi (2026)

Bu sayfa, 2026 itibarıyla web sitelerinden gelen tarafından bilinen tüm AI bot ailelerinin referans listesidir. Her aile için: amacı, User-Agent string'i, sahibi, ve önerilen robots.txt davranışı.

OpenAI Ailesi

GPTBot

• Amaç: ChatGPT temel modellerinin eğitim verisini toplamak.
• User-Agent: GPTBot/1.x.
• Sahip: OpenAI.
• Önerilen: Allow: / (eğitime izin) veya Disallow: / (engelleme).

ChatGPT-User

• Amaç: Kullanıcı tetikli sayfa çekme (browse mode).
• User-Agent: ChatGPT-User/1.x.
• Önerilen: Allow: /.

Anthropic Ailesi

ClaudeBot

• Amaç: Genel tarama; eğitim olmaz.
• Önerilen: Allow: /.

Claude-User

• Amaç: Kullanıcı tetikli okuma.
• Önerilen: Allow: /.

Claude-SearchBot

• Amaç: Search & summary.
• Önerilen: Allow: /.

Detay: [ClaudeBot, Claude-User, Claude-SearchBot farkları][/learn/claude-bot-yonetimi].

Google Ailesi

Google-Extended

• Amaç: Bard ve Gemini training opt-in/opt-out.
• Önerilen: Site sahibinin kararı.

Googlebot (klasik)

• Amaç: Search index.
• Önerilen: Allow: / (varsayılan).

Perplexity Ailesi

PerplexityBot

• Amaç: Genel arama veritabanı.
• Önerilen: Allow: /.

Perplexity-User

• Amaç: Kullanıcı tetikli atıf okuması.
• Önerilen: Allow: /.

Diğerleri

• CCBot — Common Crawl, çoğu LLM'in temel veri kaynağı.
• Bytespider — TikTok / Doubao.
• YouBot — You.com.
• Diffbot — yapısal veri çıkarımı.
• Cohere-bot — Cohere modelleri.
• AmazonBot — Alexa LLM.
• Bingbot — Microsoft Bing + Copilot.

AIDE Bunu Nasıl Kontrol Eder?

• BOT-001: Bilinen AI bot ailelerine spesifik allow/deny var mı?
• BOT-002: Sitemap: direktifi mevcut mu?
• BOT-003: Kapsam dışı subdomain'lerde policy farklı mı?

Sonraki Adım

AIDE ile ücretsiz tarama yapın — sitenizin bot ailesi başına allow/deny haritasını görün.

Özet

• 2026'da en az 13 AI bot ailesini bilmek gerekiyor.
• "Eğitim" botu ile "kullanıcı tetikli" botu farklı politikalar gerektirebilir.
• AIDE her aile için ayrı kontrol yürütür.