robots.txt ve Sitemap: Arama Motoru Optimizasyonu

Bir web sitesinin arama motorlarıyla kurduğu ilk temas, çoğu zaman ne ana sayfadır ne de en iyi içeriğinizdir. Googlebot bir alan adına uğradığında yaptığı ilk işlerden biri, kök dizindeki iki küçük dosyaya bakmaktır: robots.txt ve sitemap.xml. Bu iki dosya birkaç kilobayttan ibarettir, ama sitenizin tarama bütçesinin nasıl harcanacağını, hangi sayfaların ne kadar hızlı keşfedileceğini ve bazı durumlarda hiç keşfedilmeyeceğini belirler. Teknik SEO’nun görünmeyen ama en kritik katmanı burada başlar.

Bu yazıda ikisinin de ne işe yaradığını, birbirinden farkını, 2026 yılında Google’ın hangi kuralları desteklediğini ve hangilerini artık tamamen görmezden geldiğini; en yaygın hataları ve sağlam bir yapılandırmanın nasıl kurulacağını uygulamalı olarak ele alacağız.

robots.txt Tam Olarak Ne Yapar?

robots.txt, Robots Exclusion Protocol (REP) adı verilen bir standardın uygulamasıdır ve mutlaka sitenin kök dizininde, yani https://www.alanadiniz.com/robots.txt adresinde bulunmalıdır. Alt dizinlerde ya da başka bir yolda duran robots.txt geçersizdir; arama motoru onu görmez.

Dosyanın görevi, tarayıcılara (bot, crawler, spider) hangi yolları tarayabileceklerini, hangilerini taramamaları gerektiğini bildirmektir. Ancak burada çok önemli bir ayrım var ve SEO’da en sık yapılan hatanın kaynağı tam olarak budur: robots.txt taramayı yönetir, indekslemeyi değil.

Bir URL’i robots.txt ile Disallow ettiğinizde, Googlebot o sayfanın içeriğini okumaz. Ama başka siteler o URL’e bağlantı veriyorsa, Google sayfayı hiç taramadan da indeksleyebilir ve arama sonuçlarında “Bu sayfa için bilgi mevcut değil” notuyla gösterebilir. Yani taramayı engellemek, sayfanın Google’da görünmeyeceği anlamına gelmez. Bu ince fark, yanlışlıkla kapatılan sayfaların hâlâ SERP’te belirmesinin de, gizli kalması istenen dizinlerin sızmasının da temel nedenidir.

Temel Direktifler

robots.txt aslında oldukça sade bir söz dizimine sahiptir. En sık kullanılan alanlar şunlardır:

Direktif	İşlevi	Örnek
User-agent	Kuralların hangi bota uygulanacağını belirler. * tümü demektir.	User-agent: Googlebot
Disallow	Belirtilen yolun taranmasını engeller.	Disallow: /wp-admin/
Allow	Kapatılmış bir dizin içindeki bir yolu yeniden açar (Disallow’u ezer).	Allow: /wp-admin/admin-ajax.php
Sitemap	Site haritasının tam (mutlak) adresini bildirir.	Sitemap: https://www.alanadiniz.com/sitemap.xml

Allow direktifi özellikle önemlidir. Bir dizini tamamen kapatırken içinden tek bir dosyanın taranmasına izin vermek istediğinizde devreye girer; WordPress’te admin-ajax.php bunun klasik örneğidir. Genel kural olarak Google, en spesifik (en uzun) eşleşen kuralı uygular; yani Allow ve Disallow çakıştığında yol uzunluğu belirleyicidir.

2026’da Google’ın Artık Görmezden Geldiği Kurallar

robots.txt’nin en çok kafa karışıklığı yaratan yönü, internette dolaşan eski rehberlerin hâlâ desteklenmeyen direktifleri önermesidir. Google, yıllar içinde standart dışı birçok alanı desteklemeyi bıraktığını netleştirdi ve Nisan 2026‘da bu listeyi resmen genişletti. Aşağıdaki direktifler robots.txt içine yazılsa bile Googlebot tarafından tamamen yok sayılır:

Desteklenmeyen direktif	Neden kullanmayın / yerine ne yapın
noindex	Google robots.txt içindeki noindex’i hiçbir zaman resmî desteklemedi. İndekslemeyi engellemek için sayfaya meta robots noindex etiketi veya HTTP başlığı ekleyin.
nofollow	Bağlantı düzeyinde rel="nofollow" ya da meta etiketle uygulanır.
crawl-delay	Google hiçbir zaman desteklemedi. Tarama hızını sunucu yanıt süresine göre kendisi ayarlar.
host	Tercih edilen alan adı 301 yönlendirme ve canonical ile bildirilir.
clean-param, request-rate, visit-time, revisit-after	Standart dışıdır; Googlebot bunları okumaz, satır boşa gider.

Bu tablodaki en kritik satır noindex‘tir. Yıllardır pek çok site, bir sayfayı Google’dan gizlemek için robots.txt’ye noindex yazdı; oysa bu satır hiçbir işe yaramıyor. Bir sayfanın gerçekten arama sonuçlarından çıkmasını istiyorsanız iki yol vardır: sayfanın HTML’ine <meta name="robots" content="noindex"> eklemek veya sayfayı parola ile korumak. Üstelik meta noindex’in çalışabilmesi için Google’ın o sayfayı tarayabiliyor olması gerekir; sayfayı hem robots.txt ile kapatıp hem noindex etiketi koyarsanız, bot etiketi hiç göremez ve mekanizma bozulur.

En Sık Yapılan robots.txt Hataları

• CSS ve JavaScript dosyalarını engellemek. Google sayfayı sizin tarayıcınız gibi render eder. Disallow: /wp-includes/ veya tema/asset klasörlerini kapatmak, botun sayfayı eksik görmesine ve sıralama kaybına yol açar. Bu dosyaları asla kapatmayın.
• Tüm siteyi yanlışlıkla kapatmak. Geliştirme ortamından canlıya geçerken unutulan tek bir Disallow: / satırı, sitenizi Google’dan tamamen silebilir. Yayına alırken robots.txt’yi mutlaka kontrol edin.
• Gizli sayfaları robots.txt ile “gizlemek”. robots.txt herkese açık bir dosyadır. Yönetim panelinizin yolunu oraya yazmak, kötü niyetli kişilere adres tarifi vermektir. Hassas alanlar kimlik doğrulama ile korunmalıdır.
• Sitemap satırını unutmak. Site haritasının adresini robots.txt’ye eklemek, tarayıcının onu kolayca bulmasını sağlar ve göreli değil, mutlaka mutlak (https ile başlayan tam) URL olmalıdır.

Sitemap: Sitenizin Yol Haritası

robots.txt “nereye girme” derken, XML sitemap “en önemli sayfalarım burada” der. Sitemap, arama motorlarına sitenizdeki değerli URL’lerin listesini, her birinin son değişiklik tarihini (lastmod) ve isteğe bağlı önceliğini sunar. Özellikle yeni, büyük ya da iç bağlantısı zayıf sitelerde, sitemap sayfaların keşfedilme hızını gözle görülür biçimde artırır.

Basit bir sitemap girişi şu yapıdadır:

<url><loc>https://www.alanadiniz.com/urun/x</loc><lastmod>2026-06-15</lastmod></url>

Boyut Sınırları ve Sitemap Index

Sitemap standardının katı iki sınırı vardır ve bunları aşan dosyalar Google tarafından reddedilebilir:

Ölçüt	Sınır
Tek sitemap dosyasındaki URL sayısı	en fazla 50.000
Tek sitemap dosya boyutu (sıkıştırılmamış)	en fazla 50 MB
Sitemap index içindeki sitemap sayısı	en fazla 50.000

Siteniz bu sınırları aşıyorsa, çözüm birden çok sitemap dosyası oluşturup bunları bir sitemap index dosyasında toplamaktır (örneğin /sitemap_index.xml). Pratikte pek çok uzman, 50.000’i beklemeden yaklaşık 40.000 URL civarında index yapısına geçmeyi önerir. Büyük siteler URL’leri mantıklı gruplara böler: sitemap-urunler.xml, sitemap-blog.xml, sitemap-kategoriler.xml gibi. Bu, hem yönetimi kolaylaştırır hem de Search Console’da hangi bölümün indekslenmediğini teşhis etmeyi netleştirir.

lastmod Etiketini Yanlış Kullanmayın

Sık yapılan bir hata, sitemap her yeniden oluşturulduğunda tüm URL’lerin lastmod değerini o günün tarihine çekmektir. Bu, veriyi anlamsız kılar. Google, lastmod değerlerinizin tutarlı biçimde yanlış olduğunu fark ederse bu alanı tamamen görmezden gelmeye başlar. lastmod yalnızca sayfanın içeriği gerçekten değiştiğinde güncellenmeli ve ISO 8601 formatında (2026-06-15 veya 2026-06-15T09:00:00+00:00) yazılmalıdır.

İkisi Birlikte Nasıl Çalışır?

robots.txt ve sitemap birbirinin rakibi değil, tamamlayıcısıdır. Sağlıklı bir teknik SEO kurulumunda ikisi şöyle iş bölümü yapar:

• robots.txt tarama bütçenizi korur: değersiz filtre/parametre URL’lerini, arama sonucu sayfalarını, sepet ve hesap gibi SEO değeri olmayan yolları taramaya kapatır, böylece Googlebot enerjisini önemli sayfalara ayırır.
• sitemap.xml keşfi hızlandırır: indekslenmesini istediğiniz değerli URL’leri net bir liste hâlinde sunar.
• robots.txt içindeki Sitemap: satırı ikisini birbirine bağlar; tarayıcı Search Console’a bağlı olmasa bile site haritanızı bulur.

Kritik bir uyum kuralı: sitemap’e koyduğunuz bir URL’i asla robots.txt ile kapatmayın. Aksi hâlde arama motoruna çelişkili sinyal verirsiniz; hem “bu önemli, indeksle” dersiniz hem “buraya girme” dersiniz. Search Console’da bu durum genellikle “Sitemap tarafından gönderildi ama robots.txt tarafından engellendi” uyarısı olarak karşınıza çıkar.

Barındırma Altyapısı ve Tarama Bütçesi İlişkisi

Tarama bütçesini sık sık yalnızca robots.txt’nin yönettiği düşünülür, oysa sunucu yanıt süresi en az onun kadar belirleyicidir. Google, sitenizin ne kadar hızlı yanıt verdiğine bakarak tarama hızını kendisi ayarlar; yavaş ve sık zaman aşımına giren bir sunucu, Googlebot’un günde çok daha az sayfa taramasına yol açar. Yani mükemmel bir robots.txt bile yavaş bir altyapıda tarama bütçesini kurtaramaz.

Alastyr’ın barındırma altyapısı tam da bu noktada devreye girer. İzmir’deki kendi veri merkezimizde (kiralık değil) N+1 yedekli, Tier III standartlarında bir altyapı; sunucularda LiteSpeed + LSCache ile hızlandırılmış yanıt süreleri ve tüm planlarda %99.9 uptime taahhüdü sunuyoruz. Hızlı ve kesintisiz yanıt veren bir sunucu, botun sitenizi daha derin ve daha sık taramasını doğrudan mümkün kılar. Dilerseniz web hosting paketlerimizi, daha yüksek kaynak ihtiyacı için VPS sunucu ya da esnek ölçeklenebilirlik için bulut sunucu seçeneklerimizi inceleyebilirsiniz. WordPress’e özel optimize edilmiş yapı için WordPress hosting planlarımıza da göz atmanızı öneririz.

Doğrulama: Kurulumu Nasıl Test Edersiniz?

Yapılandırmayı yazdıktan sonra mutlaka doğrulayın. Google Search Console’un Ayarlar bölümünde robots.txt raporu, dosyanızın nasıl yorumlandığını ve varsa söz dizimi hatalarını gösterir. Sitemap raporunda ise gönderdiğiniz URL sayısı ile indekslenen URL sayısını karşılaştırabilirsiniz. Aradaki büyük fark, çoğu zaman ya robots.txt çakışmasına ya da içerik kalitesi/kanonik sorunlarına işaret eder.

Sıkça Sorulan Sorular

robots.txt bir sayfayı Google’dan tamamen gizler mi?

Hayır. robots.txt yalnızca taramayı engeller. Başka siteler o sayfaya bağlantı veriyorsa Google, sayfayı taramadan da indeksleyebilir. Bir sayfayı arama sonuçlarından çıkarmak için sayfaya meta robots noindex etiketi eklemeniz veya sayfayı parola ile korumanız gerekir.

noindex kuralını robots.txt’ye yazabilir miyim?

Yazabilirsiniz ama işe yaramaz. Google, robots.txt içindeki noindex direktifini desteklemez ve Nisan 2026’da bunu desteklenmeyen kurallar listesinde bir kez daha netleştirdi. noindex mutlaka sayfanın HTML’inde meta etiketi ya da HTTP başlığı olarak uygulanmalıdır.

crawl-delay ile Google’ın tarama hızını yavaşlatabilir miyim?

Hayır. Google crawl-delay direktifini hiçbir zaman desteklemedi. Google tarama hızını sunucunuzun yanıt süresine göre otomatik ayarlar. Hızlı ve kararlı bir sunucu, daha verimli bir tarama demektir.

Bir sitemap dosyasına en fazla kaç URL koyabilirim?

Tek bir sitemap dosyası en fazla 50.000 URL ve 50 MB (sıkıştırılmamış) taşıyabilir. Bu sınırları aşan siteler, URL’leri birden çok dosyaya bölüp bir sitemap index dosyasında toplamalıdır. Pratikte yaklaşık 40.000 URL civarında index yapısına geçmek daha güvenlidir.

lastmod etiketini her güncellemede bugünün tarihine çekmeli miyim?

Hayır. lastmod yalnızca sayfanın içeriği gerçekten değiştiğinde güncellenmelidir. Tüm URL’leri sürekli aynı güne çekerseniz Google bu alanı güvenilmez bulup tamamen görmezden gelmeye başlayabilir.

CSS ve JavaScript dosyalarımı robots.txt ile kapatmalı mıyım?

Hayır. Google sayfaları tarayıcı gibi render eder ve bunun için CSS ile JavaScript dosyalarına erişmesi gerekir. Bu dosyaları engellemek, botun sayfanızı eksik görmesine ve sıralama kaybına yol açar.

Sitemap’imi hem Search Console’a gönderip hem robots.txt’ye yazmalı mıyım?

İdeal olan ikisini birden yapmaktır. Search Console’a göndermek en hızlı ve izlenebilir yöntemdir; robots.txt içindeki Sitemap satırı ise diğer arama motorlarının ve Search Console’a bağlı olmayan tarayıcıların da site haritanızı bulmasını sağlar.

Sitemap’te olan bir URL’i robots.txt ile kapatmak sakıncalı mı?

Evet, sakıncalıdır. Bu, arama motoruna çelişkili sinyal verir: sayfayı hem indekslemesini isteyip hem taramasını engellersiniz. Search Console’da genellikle “gönderildi ama robots.txt tarafından engellendi” uyarısı olarak görünür. Sitemap yalnızca taranabilir ve indekslenmesi istenen URL’leri içermelidir.

robots.txt sitenin neresinde olmalı?

Mutlaka kök dizinde, yani https://www.alanadiniz.com/robots.txt adresinde bulunmalıdır. Alt dizinlere veya başka bir yola konulan robots.txt geçersizdir ve arama motorları tarafından dikkate alınmaz.