robots.txt Nedir?
robots.txt, sitenin kök dizininde (devpixel.com.tr/robots.txt) bulunan ve crawler'lara hangi sayfaları taramaları gerektiğini söyleyen text dosyası. User-Agent + Allow/Disallow direktifleriyle bot davranışı yönetilir. AI çağında /llms.txt ile birlikte sitenin 'machine-readable' kapısı.
robots.txt 1994'ten beri internetin standartlarından — ama 2026'da AI crawler patlamasıyla yeniden popüler oldu. Tipik içerik: ``` User-agent: * Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /portal/
User-agent: GPTBot Allow: / Disallow: /portal/
Sitemap: https://devpixel.com.tr/sitemap.xml ```
Önemli direktifler: - User-agent — hangi bot için kural geçerli (* tüm botlar) - Allow — bu path tarayabilir - Disallow — bu path taramasın - Sitemap — sitemap XML'in konumu - Crawl-delay — bot bekleme süresi (Google ignorlar, Bytespider/CCBot saygı gösterir)
Kritik yaygın hatalar: 1. Disallow: /_next/ — Next.js sitelerinde KESİNLİKLE YASAK. JS/CSS chunk'ları burada, engellenirse Googlebot stilsiz render eder, ranking kaybı. 2. Production'da Disallow: / — yanlışlıkla tüm siteyi engelliyor (özellikle stage'dan prod'a deploy'da) 3. robots.txt 404 dönmesi — bot tüm siteyi crawl etmeye çalışıyor, server yükü artıyor 4. Aynı path için çelişen kurallar (Allow + Disallow)
2026'da modern robots.txt: 11-25 AI bot için açık politika (GPTBot, ClaudeBot, PerplexityBot, vs.) + /api/+/portal/ disallow + sitemap referansı + LLM-friendly explicit Allow.
DevPixel'in robots.ts 25 AI bot için açık politika tanımlıyor — Bytespider, MistralAI-User, DuckAssistBot dahil. /_next/ kasıtlı olarak engellenmedi (render için kritik). /llms.txt + /llms-full.txt explicit Allow. /portal disallow ile müşteri verisi sızıntısı önleniyor. Bytespider crawlDelay 2sn ile rate-limited.