Crawl Budget (Tarama Bütçesi) Nedir?

Arama motoru botlarının bir web sitesini ne sıklıkla ziyaret edeceğini ve bir oturumda kaç sayfayı tarayacağını belirleyen kritik kotaya Crawl Budget (Tarama Bütçesi) denir. Googlebot, sitenize geldiğinde belirli bir süre içerisinde tarayabileceği URL sayısını; sunucu performansınıza, site popülerliğinize ve sayfalarınızın kalitesine göre otomatik olarak sınırlar. Bu bütçeyi doğru yönetmek, özellikle 10.000’den fazla URL’e sahip büyük ölçekli web sitelerinde indeks kapsamını ve organik görünürlüğü doğrudan belirler.

Bu rehberde, tarama bütçesinin anatomisini masaya yatırıyor; Google Search Console verileriyle bütçe hesaplamasını, israfa yol açan kritik hataları ve yapay zeka çağında indeks bütçenizi nasıl maksimize edeceğinizi uygulamalı bir dille anlatıyoruz.

Crawl Budget’ın Anatomisi: Hız Sınırı ve Talep

Google, crawl budget kavramını iki ana bileşen üzerinden tanımlar:

• Crawl Rate Limit (Tarama Hız Sınırı): Googlebot’un sitenize bağlanırken sunucuyu yormamak için uyguladığı üst hız sınırıdır. Sunucu yanıt süreniz (TTFB) ne kadar düşükse ve hata oranınız ne kadar azsa, bot o kadar agresif tarama yapar. Sunucu yavaşladığında veya 5xx hataları arttığında sınır otomatik olarak düşürülür.

• Crawl Demand (Tarama Talebi): Bir URL’in ne kadar değerli olduğuna dair Google’ın geliştirdiği istektir. Site genelindeki otorite, iç bağlantı yapısı, güncellik sinyali ve sayfa kalitesi (içerik zayıflığı, kopya içerik) talebi şekillendirir. Popüler ve sık güncellenen bir haber sitesinde talep yüksek olurken, statik ve zayıf bir kurumsal sitede talep düşüktür.

Tarama bütçesi, bu iki faktörün kesişim kümesidir. Yüksek hız sınırına sahip olmanız, talebi düşük sayfaların taranacağı anlamına gelmez.

Hangi Web Siteleri Tarama Bütçesi Sorunu Yaşar?

Küçük bir bloga veya 50 sayfalı bir kurumsal siteye sahipseniz, crawl budget sizin için bir endişe kaynağı değildir. Googlebot, birkaç bin URL’i rahatlıkla tarar. Asıl risk grubu şu özellikteki sitelerdir:

• 100.000+ ürüne sahip e-ticaret siteleri: Filtreleme ve sıralama parametreleriyle milyonlarca düşük değerli URL oluşur.

• Emlak ve ilan platformları: Sistemsel olarak her gün binlerce yeni, benzer ve süresi dolan sayfa üretilir.

• Büyük ölçekli içerik siteleri: Etiket, kategori ve arşiv sayfaları kontrolsüz büyüdüğünde indeks kirliliği başlar.

• Sık domain veya yapı değiştiren siteler: Zincirleme yönlendirmeler bütçeyi saniyeler içinde tüketir.

Eğer sitenizdeki toplam URL sayısı 500.000’in üzerindeyse ve günlük taranan sayfa sayısı toplam URL’lerin %10’unun altında kalıyorsa, acil bir crawl budget optimizasyonuna ihtiyacınız var demektir.

Google Search Console ile Crawl Budget Hesaplama

Somut bir veriye bakmadan yapılan her yorum eksik kalır. Tarama bütçenizi analiz etmek için şu adımları izleyin:

1. Google Search Console > Ayarlar > Tarama İstatistikleri raporunu açın.

2. Toplam tarama isteği grafiğini inceleyin. Ani düşüşler bir sunucu problemi veya manuel işlemin habercisidir.

3. Ortalama yanıt süresi (ms) değerine bakın. Bu değer 500 ms’in üzerine çıktığında Googlebot yavaşlamaya başlar.

4. İndeksleme > Sayfalar raporuna geçin. “Tarandı - şu anda indekslenmedi” ve “Keşfedildi - şu anda indekslenmedi” başlıklarındaki sayısal büyüklüğü toplayın. Bu iki havuzdaki toplam URL, sizin tarama bütçenizin çöpe giden kısmıdır.

Hesaplama Formülü: 

Günlük Taranan URL ≈ (Toplam İndeksli Sayfa / Tarama Talebi) × Sunucu Hız Limit Katsayısı

Google bu formülü kara kutu olarak çalıştırsa da, tarama istatistiklerinde gördüğünüz günlük ortalama rakamın altında kalan günler, bariz bir bütçe darboğazına işaret eder.

Crawl Budget’ı İsraf Eden 7 Teknik Hata

Bütçenin büyük kısmı genellikle stratejik kararlarla değil, teknik ihmallerle heba edilir. İşte bütçeyi tüketen en yaygın 7 hata:

1. Faceted Navigation (Filtreleme) Sonsuzluğu: E-ticarette renk, beden, fiyat sıralaması gibi parametrelerin ?color=red&size=l şeklinde indekslenebilir milyonlarca URL üretmesi.

2. Düşük Kaliteli ve Kopya İçerik: Google’ın talep mekanizmasını bitiren en büyük etkendir. Arama hacmi olmayan etiket sayfaları veya üreticiden alınan standart açıklamalar talebi sıfıra indirir.

3. Yavaş Sunucu Yanıt Süresi (TTFB > 600ms): Googlebot’un sabrı sınırlıdır. Her gecikme, bir sonraki tarama turunda daha az istek atılmasına yol açar.

4. Hatalı Zincirleme Yönlendirmeler: 301 > 301 > 200 şeklinde kurulan zincirler, botun enerjisini hedef sayfaya ulaşamadan tüketir.

5. Soft 404 Sayfalar: İçeriği boş veya “Ürün Bulunamadı” yazan fakat HTTP 200 durum kodu dönen sayfalar, bot için bir tuzaktır.

6. Kontrolsüz XML Site Haritası: 50.000 URL’lik site haritasının içinde noindex’li, yönlenen veya hata veren sayfaların bulunması, botun rotasını şaşırmasına neden olur.

7. robots.txt Uyumsuzluğu: Önemli JavaScript/CSS dosyalarının yanlışlıkla engellenmesi render bütçesini patlatırken, gereksiz klasörlerin açık bırakılması tarama bütçesini yer.

Adım Adım Crawl Budget Optimizasyonu

Aşağıdaki 7 adımı uygulayarak tarama bütçenizi yalnızca en değerli sayfalara yönlendirin:

1. Sunucu Altyapısını Güçlendirin (Hız Sınırı)

Tarama hız sınırınızı artırmanın tek yolu daha hızlı bir sunucudur. TTFB değerini sürekli olarak 200 ms’in altında tutacak bir hosting mimarisine geçin. CDN kullanımı ve agresif cache uygulamaları, Googlebot’un sitenizi çok daha hızlı taramasını sağlar.

2. Düşük Değerli Sayfaları robots.txt ile Kapatın

Disallow: /etiket/, Disallow: *?siralama=fiyat* gibi direktiflerle tarama bütçesini anında rahatlatın. Ancak unutmayın: robots.txt yalnızca taramayı engeller, sayfalar harici linklerle zaten biliniyorsa indekste kalabilir. Bu yüzden engelleme işlemi mutlaka noindex meta tag’i ile desteklenmelidir.

3. URL Parametrelerini Google Search Console’da Yönetin

Eski arayüzdeki “URL Parametreleri” aracı artık otomatik hale gelse de, parametre yönetimini doğrudan yapılandırmak için rel="canonical" etiketlerini parametresiz ana sayfaya yönlendirin. Google’ın gereksiz varyasyonları taramasını durdurun.

4. Site Geneli Kalite Denetimi Yapın

site:siteniz.com sorgularıyla indeksinizi tarayın. “İnce içerik” olarak nitelendirilen, 50 kelimeden az metin içeren veya yalnızca kopya içerik barındıran sayfaları tespit edin. Bu sayfalara acilen kaliteli özgün içerik ekleyin veya noindex uygulayarak indeksten kaldırın.

5. İç Linkleme ile Talebi (Demand) Artırın

Bir sayfanın ne kadar önemli olduğunu Google’a anlatmanın en etkili yolu iç linklemedir. Kategori sayfalarından en çok satan ürünlere, blog yazılarından para kazandıran hizmet sayfalarına stratejik linkler verin. Breadcrumb (içerik haritası) yapısıyla sitenin derinliklerini sığlaştırın.

6. XML Site Haritasını Temiz Tutun

Site haritanıza yalnızca 200 OK durum koduna sahip, noindex içermeyen ve canonical etiketi kendi üzerinde olan sayfaları ekleyin. Büyük sitelerde dinamik olarak güncellenen ve segmentlere ayrılmış site haritaları kullanmak (örn: urunler-sitemap-1.xml) bütçe dağılımını optimize eder.

7. Log Dosyası Analizi Yapın

Sunucu loglarınızı analiz ederek Googlebot’un en çok hangi dizinlerde vakit kaybettiğini görün. Hatalı sayfalara gelen istekleri, 410 Gone durum koduyla hızlıca temizleyerek botun dikkatini yeniden doğru sayfalara çekin.

AI Destekli Aramalarda (GEO) Tarama Bütçesi Yönetimi

Yapay zeka destekli arama motorları (Google SGE, Bing Copilot) için crawl budget yönetimi daha da kritik hale geldi. Bu motorlar, anlık bilgi almak için belirli sayfaları tarar ve özetler. Eğer sayfanız tarama bütçesi sorunları yüzünden güncellenmemişse, AI asistanı sizi güncel olmayan verilerle besler ve bu da AEO (Answer Engine Optimization) açısından otorite kaybına yol açar.

GEO uyumlu bir içerik mimarisi için şu önlemleri alın:

• Net ve Doğrudan Cevaplar: AI botları, insan gibi okur. Soruyu başlıkta sorup, hemen altında 2-3 cümleyle net cevap verin.

• Snippet-Friendly Yapılar: Tanımlar için <p> etiketi içinde koyu ve net açıklamalar kullanın. Adım adım işlemleri sıralı liste (<ol>) ile yapılandırın.

• Zengin Yapısal Veri: FAQ, HowTo ve Article schema işaretlemelerini eksiksiz uygulayın. Bu, AI’ın eğitim sürecinde içeriğinizi doğrudan alıntılamasını sağlar.

• Güncelliği Koruyun: “Son güncelleme” tarihini schema ve görünür metinde belirterek, AI botlarına sayfanın hala geçerli olduğu sinyalini gönderin.

Crawl budget modern SEO’nun yalnızca teknik bir detayı değil, büyük sitelerin organik stratejisinin omurgasıdır. Doğru yapılandırılmış bir içerik mimarisi, yalın bir site haritası ve agresif bir kalite denetimiyle Googlebot’u en değerli varlıklarınıza yönlendirmeniz mümkündür.

Eğer sitenizin tarama istatistikleri olması gerekenden düşükse veya indeks kapsamı raporlarınızda anlamlandıramadığınız bir karmaşa varsa, Optimia SEO Danışmanlığı ekibi olarak log analizinden sunucu yapılandırmasına kadar tüm süreci sizin için yönetiyor ve tarama bütçenizi maksimum verimliliğe ulaştırıyoruz.