Crawl Budget (Tarama Bütçesi) Nedir?
Crawl budget, Google'ın bir sitede günde tarayabileceği sayfa sayısı. Sınırlı bir kaynak — büyük siteler (1000+ sayfa) için kritik çünkü Google önemsiz sayfaları tararken yeni içerikleri indexlemeyebilir. Crawl budget optimizasyonu sitemap, robots.txt, internal linking ve sayfa hızıyla yönetilir.
Google Search Console'da 'Crawl Stats' raporunda görülebilir. Tipik orta-büyük site: 200-2000 sayfa/gün crawl. Site büyüdükçe crawl budget kıtlık problemi oluşuyor.
Crawl budget'ı israf eden 8 senaryo: 1. Duplicate content (aynı içerik birden çok URL'de — örn. /urun?renk=siyah ve /urun?renk=mavi gibi parameter'lı URL'ler) 2. Soft 404 (Google'a 200 dönüyor ama 'not found' içerik) 3. Redirect chain (A → B → C → D, her hop crawl harcamına) 4. Robot.txt'de yanlış disallow (önemli sayfa engellenmiş) 5. Çok sayıda 404 hatası 6. Düşük kaliteli auto-generated sayfalar (programmatic SEO yanlış yapılırsa) 7. Yavaş site hızı (TTFB >1s, Google'ın crawl rate'i düşürüyor) 8. Çok sayıda URL parameter (analytics, tracking)
Crawl budget optimizasyon teknikleri: - robots.txt'de gereksiz path'leri disallow et (/api/, /admin/, parametre kombinasyonları) - Canonical URL'leri doğru yerleştir - Sitemap'i temiz tut (sadece indexlenecek URL'ler) - Redirect zincirlerini kısalt (A → C direkt) - Site hızını artır (TTFB <500ms) - High-quality content + sık güncelleme (Google crawl rate'i artırıyor)
DevPixel projelerinde sitemap otomatik üretiliyor, robots.txt 25 AI bot için optimize, canonical URL her sayfada explicit. /solutions altında 1.504 programmatic SEO sayfası için crawl budget'ı koruyacak 'priority + changefreq' yönetimi var.