İçindekiler
Web sitelerinin arama motorlarında nasıl tarandığını ve hangi sayfaların görünür olacağını belirleyen en kritik dosyalardan biri robots.txt’dir. Doğru yapılandırılmış bir robots.txt dosyası, arama motorlarının siteni daha verimli taramasını sağlar; yanlış yapılandırılmış bir dosya ise sitenin tamamının arama sonuçlarından silinmesine kadar gidebilecek ciddi SEO sorunlarına yol açabilir.
Özellikle günümüzde sadece Google değil, aynı zamanda yapay zekâ sistemleri ve farklı botlar da web sitelerini taramaktadır. Bu nedenle robots.txt dosyası artık yalnızca bir teknik gereklilik değil, aynı zamanda stratejik bir SEO kontrol mekanizması haline gelmiştir.
Bu rehberde:
- Robots.txt’nin nasıl çalıştığını
- SEO üzerindeki gerçek etkilerini
- Doğru kullanım senaryolarını
- Kritik hataları ve optimizasyon yöntemlerini detaylı ve uygulamaya dönük şekilde ele alacağız.
Not: Robots.txt, teknik SEO’nun temel yapı taşlarından biridir. Konunun daha geniş çerçevesi için mutlaka Teknik SEO rehberine de göz atılmalıdır.
Robots.txt Dosyası Nedir, Ne İşe Yarar?
Robots.txt, web sitenin kök dizininde (root directory) bulunan ve arama motoru botlarına hangi sayfaları tarayıp hangilerini taramayacaklarını söyleyen bir metin dosyasıdır.
Basitçe ifade etmek gerekirse: Robots.txt = “Arama motorlarına verilen trafik yönlendirme talimatı.” Bir arama motoru botu (örneğin Googlebot), sitene geldiğinde ilk olarak şu dosyayı kontrol eder:
https://siteadi.com/robots.txt
Bu dosyada yer alan kurallara göre:
- Hangi sayfaları tarayacağına
- Hangi klasörlere girmeyeceğine
- Hangi içerikleri önceliklendireceğine karar verir.
Arama motorları robots.txt dosyasını nasıl okur?
Arama motorları bir siteye eriştiğinde şu adımları izler:
- Önce robots.txt dosyasını kontrol eder
- Kendi botuna özel kuralları bulur
- İzin verilen (Allow) alanları tarar
- Engellenen (Disallow) alanlardan uzak durur
Bu süreç, Google Search Central tarafından da açıkça tanımlanmıştır. Resmî dokümana buradan ulaşabilirsiniz.
Kritik detay: Robots.txt taramayı kontrol eder, ancak indexlemeyi garanti etmez veya tamamen engellemez. (Bu farkı ileride detaylı anlatacağız.)
Crawl (tarama) sürecindeki rolü nedir?
Robots.txt dosyasının en önemli görevi, sitenin tarama bütçesini (crawl budget) optimize etmektir.
Bir arama motoru:
- Siteni sınırsız şekilde taramaz
- Belirli bir zaman ve kaynak ayırır
İşte burada robots.txt devreye girer:
Robots.txt ile:
- Gereksiz sayfalar (admin, filtre URL’leri) engellenir
- Botların önemli sayfalara odaklanması sağlanır
- Tarama verimliliği artırılır
Örnek:
Disallow: /admin/
Disallow: /cart/
Disallow: /?filter=
Bu yapı sayesinde: Botlar zamanını çöp sayfalarda harcamaz, SEO değeri yüksek sayfalara daha hızlı ulaşır.
Çoğu site robots.txt dosyasını sadece “engelleme aracı” olarak görür. Ama gerçek şu: Robots.txt = Crawl yönetimi + SEO performans optimizasyonu.
Özellikle:
- E-ticaret sitelerinde (binlerce URL)
- Blog sitelerinde (kategori + etiket karmaşası)
- Kurumsal sitelerde (gereksiz sayfa yükü)
robots.txt doğru kullanılmazsa:
- Crawl budget boşa gider
- Indexlenmesi gereken sayfalar geç fark edilir
- SEO performansı düşer
Konunun teknik doğruluğunu destekleyen önemli kaynaklar:
Robots.txt SEO Açısından Neden Önemlidir?
Robots.txt dosyası doğrudan sıralama faktörü değildir; ancak arama motorlarının siteni nasıl taradığını belirlediği için dolaylı olarak SEO performansını ciddi şekilde etkiler.
Basit bir mantıkla:
- Tarama yoksa index yok
- Index yoksa sıralama yok
İşte robots.txt tam olarak bu zincirin en başında yer alır.
Crawl Budget (Tarama Bütçesi) Yönetimi
Arama motorları her site için sınırsız kaynak ayırmaz. Özellikle Google, her siteye belirli bir crawl budget (tarama bütçesi) tanımlar.
Bu bütçe:
- Sunucu kapasitesi
- Site büyüklüğü
- Güncelleme sıklığı
- Site otoritesi gibi faktörlere göre değişir.
Problem:
Eğer robots.txt doğru yapılandırılmazsa:
- Botlar gereksiz URL’leri tarar
- Önemli sayfalar geç keşfedilir
- Tarama verimliliği düşer
Çözüm:
Robots.txt ile:
- Filtre URL’leri
- Parametreli sayfalar
- Admin panelleri engellenerek tarama bütçesi korunur.
Örnek:
Disallow: /*?utm_
Disallow: /*?filter=
Disallow: /admin/
Bu sayede botlar “çöp URL’ler” yerine önemli sayfalara yönlendirilir.
Gereksiz Sayfaların Engellenmesi
Birçok web sitesinde arama motorlarının taramasını istemediğimiz sayfalar bulunur:
Tipik gereksiz sayfalar:
- /wp-admin/
- /cart/ (sepet)
- /checkout/
- filtre URL’leri
- test sayfaları
Bu sayfalar:
- SEO değeri taşımaz
- Crawl budget tüketir
- Index karmaşası oluşturur
Robots.txt ile çözüm:
Disallow: /cart/
Disallow: /checkout/
Disallow: /wp-admin/
Bu yapı sayesinde: Arama motorları sadece gerçekten değerli içeriklere odaklanır.
SEO Performansına Etkisi
Robots.txt’nin SEO’ya etkisi dolaylıdır ama güçlüdür.
Doğru kullanımda:
- Önemli sayfalar daha hızlı indexlenir
- Crawl verimliliği artar
- Site yapısı daha net anlaşılır
Yanlış kullanımda:
- Tüm site yanlışlıkla engellenebilir
- CSS/JS bloklanır → sayfa render edilmez
- Kritik sayfalar taranamaz
Bu durumlar, Google Search Central tarafından da özellikle vurgulanmaktadır.
Robots.txt tek başına bir çözüm değildir. Aslında daha büyük bir yapının parçasıdır: Teknik SEO'dur.
Teknik SEO kapsamında:
- Site hızı
- Core Web Vitals
- Crawl yapısı
- Indexleme optimizasyonu birlikte değerlendirilmelidir.
Bu nedenle robots.txt konusunu daha geniş çerçevede anlamak için mutlaka: Teknik SEO rehberine göz atılmalıdır.
Robots.txt Nasıl Çalışır? (Mantık ve Yapı)
Robots.txt dosyası, arama motoru botlarına verilen kuralların yer aldığı basit bir metin dosyasıdır. Ancak bu basit yapı, doğru kullanılmadığında ciddi SEO hatalarına yol açabilir. Bir robots.txt dosyası temelde şu mantıkla çalışır:
“Hangi bot → Hangi sayfaya erişebilir / erişemez”. Bu yapı, satır satır okunan kurallardan oluşur ve her kural belirli bir botu (user-agent) hedef alır.
User-agent nedir?
User-agent, robots.txt dosyasında hangi botun kurallardan etkileneceğini belirten tanımdır.
Örnek:
User-agent: *
Bu ifade: Tüm botlar için geçerli demektir. Ancak spesifik botlara özel kurallar da yazılabilir. Örneğin:
User-agent: Googlebot
Disallow: /admin/
Burada sadece Googlebot için kural tanımlanmıştır.
Yaygın User-agent örnekleri:
- Googlebot → Google arama botu
- Bingbot → Microsoft arama botu
- Slurp → Yahoo botu → Tüm botlar
Kritik detay: Eğer aynı sayfa için farklı user-agent kuralları varsa, bot kendisine en uygun olanı uygular.
Allow / Disallow komutları: Robots.txt dosyasının temelini bu iki komut oluşturur:
Disallow: Bir sayfanın veya dizinin taranmasını engeller.
Örnek:
Disallow: /admin/
Bu komutla: /admin klasörüne giriş yasaklanır.
Allow: Belirli bir sayfanın taranmasına izin verir.
Örnek:
Allow: /blog/
Bu komut ile /blog dizini taranabilir izni verilir.
Kritik senaryo:
Disallow: /blog/
Allow: /blog/yazi-1
Tüm blog kapalı ama “yazi-1” sayfası açık. Bu yapı özellikle büyük sitelerde kullanılır.
Wildcard (*) ve $ kullanımı
Robots.txt’de gelişmiş kontrol için wildcard kullanılır.
* (yıldız) kullanımı
Herhangi bir karakter dizisini temsil eder:
Disallow: /*?utm_
Tüm UTM parametreli URL’ler engellenir.
$ (son karakter) kullanımı
Belirli bir uzantıyla biten URL’leri hedefler:
Disallow: /*.pdf$
Tüm PDF dosyaları engellenir.
Kombin kullanım:
Disallow: /*?filter=
Disallow: /*.xml$
Filtre URL’leri ve XML dosyaları kontrol altına alınır.
Sitemap tanımlama
Robots.txt dosyasında site haritası (sitemap) belirtmek, arama motorlarına önemli bir sinyal verir.
Sitemap: https://siteadi.com/sitemap.xml
Bu sayede:
- Botlar site yapısını daha hızlı anlar
- Yeni sayfalar daha hızlı keşfedilir
Robots.txt’yi sadece “engelleme listesi” olarak kullanmak büyük bir hata. Gerçek kullanım: Hangi sayfa → Ne zaman → Ne kadar öncelikle taranmalıdır.
Bu özellikle şu sitelerde kritiktir:
- E-ticaret: Filtre URL’leri kontrol edilmezse crawl çöp olur
- Blog: Etiket sayfaları spam crawl oluşturur
- Kurumsal: Test ve gereksiz sayfalar index karmaşası yaratır
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası teknik görünse de aslında oluşturması oldukça basittir. Ancak kritik olan nokta, doğru yerde ve doğru kurallarla kullanılmasıdır.
Yanlış konumlandırılmış ya da hatalı yazılmış bir robots.txt dosyası:
- Hiç çalışmayabilir
- Tüm sitenin taranmasını engelleyebilir. Bu yüzden adım adım doğru şekilde ilerlemek gerekir.
Manuel oluşturma
Robots.txt dosyası aslında düz bir metin dosyasıdır (.txt). Herhangi bir kod editörü ile kolayca oluşturulabilir.
Adım adım:
- Yeni bir metin dosyası oluştur
- Dosya adını şu şekilde belirle:
robots.txt
İçine kuralları yaz:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /blog/
Sitemap: https://siteadi.com/sitemap.xml
Dosyayı sitenin root (ana dizin) klasörüne yükle.
Doğru URL:
https://siteadi.com/robots.txt
Kritik:
- /blog/robots.txt - yanlış
- /public/robots.txt - yanlış
- Sadece root dizin - doğru
WordPress ve CMS sistemlerde robots.txt
Eğer WordPress gibi bir CMS kullanıyorsan robots.txt oluşturmak daha da kolaydır.
WordPress’te yöntemler:
1. SEO eklentileri ile (en pratik)
- Rank Math
- Yoast SEO
Bu eklentiler üzerinden: robots.txt dosyasını panelden düzenleyebilirsiniz.
2. Manuel FTP / Hosting üzerinden
- cPanel / FTP ile root klasöre eriş
- robots.txt dosyasını yükle
Bazı WordPress sitelerinde “virtual robots.txt” bulunur. Yani fiziksel dosya yoktur ama sistem otomatik üretir.
Bu durumda:
- Eklenti ile override etmek gerekir
- Aksi halde değişiklikler kaydedilmez
Doğru konumlandırma (root dizin)
Robots.txt’nin çalışması için tek bir şart vardır: Doğru yerde olması.
Doğru:
https://siteadi.com/robots.txt
Yanlış:
/blog/robots.txt
/site/robots.txt
/public_html/blog/robots.txt
Robots.txt’nin Çalıştığını Nasıl Anlarsınız?
Dosyayı oluşturduktan sonra:
- Tarayıcıya girin
siteadi.com/robots.txt
- Dosya görünüyorsa, çalışıyor
Daha ileri test için: Google Search Console kullanılabilir.
Search Console üzerinden:
- robots.txt test edilir
- hatalar tespit edilir.
En Doğru Robots.txt Örnekleri (Gerçek Senaryolar)
Her web sitesinin yapısı farklı olduğu için tek bir “doğru robots.txt” yoktur. Ancak sektör bazlı en doğru yaklaşımlar vardır.
Aşağıda:
- Kurumsal site
- E-ticaret sitesi
- Blog sitesi için optimize edilmiş örnekleri paylaşıyorum.
Kurumsal Site Robots.txt Örneği
Kurumsal sitelerde amaç:
- Gereksiz sayfaları engellemek
- Temiz bir crawl yapısı oluşturmak
Örnek yapı:
User-agent: *
Disallow: /admin/
Disallow: /panel/
Disallow: /giris/
Disallow: /arama/
Allow: /
Sitemap: https://siteadi.com/sitemap.xml
Açıklama:
|
Alan |
Amaç |
|
/admin/ |
Yönetim panelini gizler |
|
/giris/ |
Login sayfalarını engeller |
|
/arama/ |
Düşük değerli arama sayfalarını kapatır |
|
Sitemap |
Botlara yön verir |
Ne Kazanırsınız?
- Temiz site yapısı
- Gereksiz crawl engellenir
- SEO odaklı tarama
E-Ticaret Robots.txt Örneği
E-ticaret sitelerinde en büyük problem: Filtre ve parametre URL’leri. Bunlar kontrol edilmezse: Crawl budget tamamen boşa gider.
Örnek yapı:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?min_price=
Disallow: /*?max_price=
Allow: /kategori/
Allow: /urun/
Sitemap: https://siteadi.com/sitemap.xml
Açıklama:
|
Alan |
Amaç |
|
/cart/ |
Sepet sayfasını engeller |
|
filtre URL’leri |
Parametre spam’ini önler |
|
kategori & ürün |
SEO değeri olan sayfalar açık |
Kritik Not: E-ticaret sitelerinde robots.txt yanlışsa: Google binlerce gereksiz URL tarar, asıl ürün sayfaları geç indexlenir. Bu durum Google tarafından crawl verimsizliği olarak değerlendirilir.
Blog Sitesi Robots.txt Örneği
Blog sitelerinde problem: Etiket ve arşiv sayfalarının karmaşası.
Örnek yapı:
User-agent: *
Disallow: /wp-admin/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Allow: /blog/
Sitemap: https://siteadi.com/sitemap.xml
Açıklama:
|
Alan |
Amaç |
|
/tag/ |
Duplicate içerik riskini azaltır |
|
/author/ |
Gereksiz sayfa çoğalmasını önler |
|
arama (?s=) |
Düşük değerli sayfaları kapatır |
Ne Kazanırsınız?
- Duplicate content azalır
- Crawl temizlenir
- Blog içerikleri öne çıkar
Kritik Not: Her Siteye Aynı Robots.txt Kullanılmaz En büyük hatalardan biri: “İnternetten bul → kopyala → yapıştır. ”Bu yaklaşım: SEO zararına yol açabilir.
Doğru yaklaşım:
Robots.txt şu faktörlere göre özelleştirilmelidir:
- Site türü
- URL yapısı
- Trafik stratejisi
- SEO hedefi
Robots.txt Kullanırken Yapılan Kritik Hatalar
Robots.txt dosyası küçük görünür ama etkisi büyüktür. Tek bir satır hatasıyla:
- Tüm siteyi arama sonuçlarından silebilirsin
- Önemli sayfaları görünmez yapabilirsin
- Crawl yapısını tamamen bozabilirsin
Aşağıdaki hatalar, gerçek projelerde en sık karşılaşılan ve en çok zarar veren hatalardır.
Tüm Siteyi Yanlışlıkla Engellemek
En tehlikeli hatadır:
User-agent: *
Disallow: /
Bu ne demek? “Hiçbir bot siteyi tarayamaz.”
Sonuç:
- Site tamamen crawl dışı kalır
- Yeni içerikler indexlenmez
- Trafik hızla düşer
Bu durum Google Search Central tarafından da açıkça belirtilir.
Ne zaman kullanılır?
Sadece:
- Site geliştirme aşamasında
- Test ortamında
Canlı sitede kullanılması = SEO intiharı demektir. Bu nedenle doğru şekilde kullanılması SEO açısından önemli bir ayrıntıdır.
CSS / JS Dosyalarını Bloklamak
Birçok kişi farkında olmadan şu hatayı yapar:
Disallow: /wp-content/
Problem:
Bu klasörde:
- CSS
- JavaScript
- görseller bulunur.
Sonuç: Arama motorları sayfayı doğru render edemez. Sayfa “bozuk” gibi algılanır Bu konu özellikle Google tarafından önemle vurgulanır.
Doğru yaklaşım:
Allow: /wp-content/uploads/
Kritik dosyalar açık bırakılmalıdır.
Noindex ile Robots.txt’yi Karıştırmak
Çok yaygın bir yanlış: “Robots.txt ile sayfayı index’ten kaldırırım”, Hayır, kaldıramazsın.
Gerçek:
- Robots.txt → taramayı engeller
- Noindex → indexlenmeyi engeller
Problem:
Eğer bir sayfayı robots.txt ile engellersen:
- Bot sayfayı göremez
- Noindex etiketini de okuyamaz
Doğru kullanım:
- Index’ten kaldırmak için → meta noindex
- Crawl yönetimi için → robots.txt
Google Yerine Tüm Botları Engellemek
Bazı sitelerde şu yapı görülür:
User-agent: *
Disallow: /
Ama amaç aslında sadece bazı botları engellemektir.
Problem:
- Tüm botlar engellenir
- Google da dahil
Doğru kullanım:
User-agent: BadBot
Disallow: /
2026 Gerçeği:
Artık sadece arama motorları değil:
- AI botlar
- veri toplayıcılar da siteleri tarıyor. Bu yüzden robots.txt daha stratejik kullanılmalı.
BONUS HATA: Parametre URL’leri Kontrol Etmemek
Özellikle e-ticaret sitelerinde:
site.com/urun?kategori=...&renk=...&beden=...
Problem: Binlerce gereksiz URL oluşur, Crawl budget çöker.
Çözüm:
Disallow: /*?kategori=
Disallow: /*?renk=
Gerçek şu:
- Robots.txt hataları genelde görünmez
- Ama etkisi çok büyük olur
En tehlikelisi:
- Site çalışıyor gibi görünür
- Ama SEO içten içe çöküyordur
Profesyonel yaklaşım:
- Yayına almadan önce test et
- Küçük değişikliklerle ilerle
- Crawl davranışını analiz et
Robots.txt ve Crawl Budget Optimizasyonu
Crawl budget (tarama bütçesi), arama motorlarının bir siteyi belirli bir zaman diliminde ne kadar ve ne sıklıkla tarayacağını ifade eder. Özellikle büyük sitelerde bu bütçe doğru yönetilmezse:
- Önemli sayfalar geç keşfedilir
- Yeni içerikler geç indexlenir
- SEO büyümesi yavaşlar
Bu noktada robots.txt, crawl budget yönetiminin en güçlü araçlarından biri haline gelir.
Hangi Sayfalar Engellenmeli?
Her sayfa arama motorları için değerli değildir. Aksine bazı sayfalar crawl bütçesini boşa tüketir.
Engellenmesi gereken sayfalar:
- Admin ve panel sayfaları
- Sepet ve ödeme sayfaları
- Filtre URL’leri
- Arama sonuç sayfaları
- Test / geçici sayfalar
Örnek yapı:
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /?s=
Mantık: “SEO değeri olmayan sayfa = crawl edilmemeli” Bu yaklaşım, Google tarafından da önerilen crawl verimliliği mantığıyla uyumludur.
Parametreli URL’ler Nasıl Yönetilmeli?
En büyük crawl budget düşmanı: Parametreli URL’lerdir.
Örnek:
site.com/urun?renk=kirmizi&beden=m
Problem:
- Aynı sayfanın yüzlerce versiyonu oluşur
- Botlar sürekli aynı içeriği tarar
- Crawl budget boşa gider
Robots.txt çözümü:
Disallow: /*?renk=
Disallow: /*?beden=
Disallow: /*?filter=
Profesyonel yaklaşım:
- Robots.txt → crawl kontrol
- Canonical → duplicate çözüm. İkisi birlikte kullanılmalı.
Büyük Sitelerde Robots.txt Stratejisi
Küçük sitelerde robots.txt basit olabilir. Ama büyük sitelerde iş tamamen değişir.
E-ticaret siteleri:
- Binlerce ürün
- Yüzlerce filtre.
Robots.txt olmazsa crawl kaosu oluşur.
Blog & içerik siteleri:
- Etiket
- kategori
- arşiv
Duplicate crawl oluşur
Kurumsal siteler:
- Gereksiz sayfa yoğunluğu
- Tarama verimsizliği oluşur
Profesyonel Robots.txt Stratejisi
Gerçek SEO projelerinde robots.txt şu şekilde ele alınır:
1- Crawl önceliği belirlenir
- Ürün sayfaları
- hizmet sayfaları
- içerikler
2- Düşük değerli sayfalar kapatılır
- filtreler
- parametreler
- sistem sayfaları
3- Sürekli optimize edilir
- log analizi yapılır
- bot davranışı izlenir
Robots.txt ve Yapay Zekâ Botları (2026 Perspektifi)
Eskiden robots.txt yalnızca arama motoru botlarını yönetmek için kullanılırdı. Ancak artık web sitelerini tarayan sadece arama motorları değil:
- Yapay zekâ modelleri
- veri toplayıcı botlar
- içerik analiz sistemleri de aktif olarak web’i crawl ediyor.
Bu nedenle robots.txt, artık sadece SEO değil: veri kontrolü + içerik güvenliği + AI yönetimi aracı haline gelmiştir.
AI botlar robots.txt okur mu?
Kısa cevap: Evet, çoğu AI bot robots.txt kurallarına uyar ama hepsi değil.
Gerçek durum:
- Büyük platformlar → robots.txt’ye saygı duyar
- Küçük / bilinmeyen botlar → çoğu zaman umursamaz
Örnek:
- OpenAI botları
- Anthropic botları
- Google AI sistemleri robots.txt kurallarını dikkate alır.
ChatGPT, Claude ve Google SGE botları
2026 itibarıyla en önemli tarayıcılar:
ChatGPT (OpenAI crawler)
- Web verisi toplar
- robots.txt’yi referans alır
Claude (Anthropic)
- Veri toplama sürecinde robots.txt’ye bakar
Google SGE (Search Generative Experience)
- Klasik Googlebot altyapısını kullanır
- robots.txt kurallarına bağlıdır
Detaylı teknik yaklaşım için: Tıklayın
AI training engelleme stratejileri
Bazı siteler içeriklerinin yapay zekâ tarafından kullanılmasını istemez. Bu durumda robots.txt ile belirli botlar engellenebilir.
Örnek:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Bu ne sağlar?
- AI botlar siteyi taramaz
- İçerik eğitim verisine dahil edilmez (büyük ölçüde)
Ama kritik gerçek:
Robots.txt:
- Yasal bir engel değildir
- “istek” niteliğindedir
Yani: Tüm botlar %100 uymak zorunda değildir.
Robots.txt vs Veri Kontrolü
Bu noktada şunu net anlamak gerekir:
|
Araç |
Ne yapar |
|
Robots.txt |
Crawl kontrolü sağlar |
|
KVKK / GDPR |
Veri kullanımını yasal olarak düzenler |
|
API / Auth |
Gerçek veri güvenliği sağlar |
Robots.txt Testi Nasıl Yapılır?
Robots.txt dosyasını oluşturduktan sonra mutlaka test edilmelidir. Çünkü küçük bir yazım hatası bile:
- Önemli sayfaların taranmasını engelleyebilir
- Crawl budget’ı yanlış yönlendirebilir
- SEO performansını düşürebilir
Bu yüzden robots.txt için “yaz → yayınla” değil, “yaz → test et → optimize et” yaklaşımı kullanılmalıdır.
Google Search Console robots.txt test aracı
Robots.txt test etmek için en güvenilir yöntemlerden biri Google Search Console üzerinden kontrol yapmaktır.
Nasıl yapılır?
- Search Console hesabına giriş yap
- İlgili siteyi seç
- robots.txt test aracını aç
- URL girerek test et
Ne sağlar?
- Hatalı kuralları tespit eder
- Engellenen URL’leri gösterir
- Bot davranışını simüle eder
Örnek senaryo:
/blog sayfası açılmıyor Test ettiğinde:
Disallow: /blog/
Hatanın sebebi direkt ortaya çıkar
Manuel kontrol yöntemleri
Search Console dışında hızlı kontroller de yapılabilir.
1. Tarayıcıdan kontrol
Şu URL’yi aç:
siteadi.com/robots.txt
Dosya görünüyorsa:
- erişilebilir
- doğru konumda
2. URL bazlı test
Mantık:
- Engellenmesini istediğin URL → açılmamalı
- Açık olmasını istediğin URL → taranabilir olmalı
3. Basit analiz
Şu soruları sor:
- Kritik sayfalar açık mı?
- Gereksiz sayfalar kapalı mı?
- Parametre URL’ler kontrol altında mı?
Test Yaparken En Sık Kaçan Hatalar
1. Cache problemi
Robots.txt güncellenir ama eski hali görülür
Çözüm:
- Cache temizle
- CDN varsa purge et
2. Yanlış user-agent testi
Farklı botlar farklı davranabilir.
Örnek:
- Googlebot → izinli
- diğer botlar → engelli
3. Robots.txt var ama çalışmıyor
Sebep:
- Yanlış dizin
- yazım hatası
- encoding problemi
Robots.txt vs Meta Robots (Noindex) Farkı
SEO dünyasında en yaygın yanlışlardan biri şudur: “Robots.txt ile sayfayı Google’dan kaldırırım”. Bu doğru değil. Robots.txt ve meta robots (noindex) tamamen farklı amaçlara hizmet eder. Bu farkı net anlamak, doğru SEO stratejisi için şarttır.
Temel Fark
|
Özellik |
Robots.txt |
Meta Robots (Noindex) |
|
Amaç |
Taramayı kontrol eder |
Indexlemeyi kontrol eder |
|
Bot erişimi |
Engelleyebilir |
Bot erişir |
|
Index durumu |
Engellese bile indexlenebilir |
Kesin indexlenmez |
|
Kullanım yeri |
robots.txt dosyası |
HTML içinde |
Robots.txt Ne Yapar?
Robots.txt: Arama motoruna “buraya girme” der.
Örnek:
Disallow: /gizli-sayfa/
Ama kritik gerçek: Eğer bu sayfaya başka sitelerden link varsa: Sayfa yine indexlenebilir ama içeriği görünmez olur.
Meta Robots (Noindex) Ne Yapar?
Meta robots etiketi: “Bu sayfayı indexleme” der.
Örnek:
name="robots" content="noindex">
Sonuç:
- Bot sayfaya girer
- İçeriği okur
- Ama indexlemez
Yani tamamen arama sonuçlarından çıkar.
Birçok kişi şu hatayı yapar:
Disallow: /sayfa/
ve aynı sayfaya:
"noindex" ekler. Bot sayfaya giremez, Noindex’i göremez. Sonuç: Sayfa indexte kalabilir.
Doğru Strateji
Amaç: Sayfa indexlenmesin
Kullan: Meta noindex
Amaç: Sayfa taranmasın
Kullan: Robots.txt
Amaç: Hem tarama hem index kontrolü
Stratejik kullanım gerekir:
- Önce noindex ekle
- Botun görmesini sağla
- Indexten düştükten sonra gerekirse robots.txt ile kapat
Robots.txt Kullanımı Ne Zaman Gerekli?
Robots.txt her site için zorunlu değildir. Ancak doğru senaryolarda kullanıldığında SEO performansına ciddi katkı sağlar.
Küçük Siteler İçin Robots.txt Gerekli mi?
Küçük ölçekli sitelerde (örneğin 5–20 sayfalık kurumsal siteler): Çoğu zaman robots.txt olmadan da SEO yapılabilir.
Tipik küçük site yapısı:
- Ana sayfa
- hizmet sayfaları
- iletişim
- birkaç blog içeriği
Bu durumda:
- Crawl budget problemi yok
- URL karmaşası yok
- filtre / parametre yok
Robots.txt kullanımı kritik değildir
Ama yine de önerilir:
Basit bir yapı bile eklenmeli:
User-agent: *
Disallow:
Sitemap: https://siteadi.com/sitemap.xml
Bu, arama motorlarına “her şey açık” sinyali verir
Büyük Siteler İçin Robots.txt Nasıl Olmalı?
Site büyüdükçe robots.txt zorunlu hale gelir.
Büyük site örnekleri:
- E-ticaret siteleri
- Haber siteleri
- İçerik platformları
- SaaS projeleri
Bu sitelerde problem:
- Binlerce URL
- Parametreli sayfalar
- Duplicate içerikler
Robots.txt olmazsa:
- Crawl budget çöker
- Botlar gereksiz sayfalarda zaman harcar
- SEO büyümesi yavaşlar
Doğru yaklaşım:
- Gereksiz sayfaları engelle
- Önemli sayfaları açık bırak
- Crawl yönlendirmesi yap
E-Ticaret Projelerinde Robots.txt Kullanımı
E-ticaret sitelerinde robots.txt: “opsiyonel” değil, zorunludur. Çünkü:
- Filtre URL’leri
- kategori varyasyonları
- sıralama parametreleri
Örnek problem:
site.com/urun?renk=mavi&beden=l&fiyat=100-200
Aynı ürünün yüzlerce versiyonu oluşur
Robots.txt çözümü:
Disallow: /*?renk=
Disallow: /*?beden=
Disallow: /*?fiyat=
Sonuç:
- Crawl temizlenir
- SEO performansı artar
- Indexleme hızlanır
Robots.txt Doğru Kullanılmazsa Ne Olur?
Robots.txt küçük bir dosya olabilir, ancak etkisi büyük ve doğrudandır. Yanlış yapılandırıldığında, teknik SEO’nun en kritik hatalarından birine dönüşür.
En sık karşılaşılan senaryo şudur: Site çalışır, sayfalar açıktır, içerikler yayındadır… Ama arama motoru tarafında ciddi problemler oluşur.
Robots.txt Hatalarının SEO Üzerindeki Etkileri
Index Kaybı
Yanlış bir kural ile önemli sayfalar tarama dışı kalabilir:
- Blog içerikleri taranmaz
- Yeni içerikler indexlenmez
- Trafik düşüşü başlar
Crawl Budget İsrafı
Parametreli URL’ler kontrol edilmezse: Arama motorları aynı sayfanın yüzlerce versiyonunu tarar.
Sonuç:
- Önemli sayfalar geç keşfedilir
- Tarama verimsizleşir
Sayfa Kalitesi Düşüşü
CSS ve JS dosyaları engellenirse: Arama motoru sayfayı tam anlayamaz. Bu durum özellikle Google algoritmaları açısından negatif sinyal üretir.
SEO Büyümesinin Yavaşlaması
Robots.txt hataları çoğu zaman fark edilmez.
Ama etkisi zamanla ortaya çıkar:
- Indexleme yavaşlar
- Sıralamalar düşer
- Organik trafik azalır
Tüm bunlardan sonra eğer robots.txt:
Doğru yapılandırılırsa
- Crawl verimliliği artar
- Indexleme hızlanır
- SEO performansı yükselir
Yanlış yapılandırılırsa
- Site görünmez hale gelebilir
- Trafik kaybı yaşanır
- SEO çalışmaları boşa gider
Bu nedenle robots.txt: “Basit bir dosya” değil, SEO performansını yöneten stratejik bir araçtır. Robots.txt, arama motorlarının sitenizi nasıl tarayacağını belirleyen kritik bir SEO dosyasıdır. Doğru kullanıldığında crawl verimliliğini artırır, yanlış kullanıldığında ise sitenin indexlenmesini engelleyebilir.
