Robots TXT Dosyası Nasıl Oluşturulur? Robots.txt Kodları

Robots TXT Nedir?

İnternet üzerinde bulunan bir web sitesinin, arama sonuçlarında yüksek sıralarda görünmesi çok fazla kıstasa bağlıdır. Arama motorları bir web sitesini tararken öncelikli olarak robots.txt dosyasını tarar. Bu sebeple eğer web sitesi olan bir firmanız varsa “robots txt nedir” sorusunun cevabını çok iyi bilmelisiniz. Bu dosyanın nasıl oluşturulacağı ve içine hangi komut gruplarının nasıl yazılacağı kritik bir önem ifade etmektedir.

Bu dosya düzgün şekilde oluşturulmaz ise arama motoru botları web sitenizi tam olarak tarayamaz ve gerekli değerlendirmeyi yapamaz. Robots.txt dosyası, web sitenizin dizininde yer alması gereken ve web sunucularına eklenen oldukça basit bir metin dosyasıdır. Bu dosyanın asıl amacı arama motorlarının, web sitenizin hangi kısımlarını görmesine izin vereceğinizi belirlemektir.

Basit şekilde robots dosyası, web sitenizin arama motorları ile ilişkisini kontrol eder. Önemli olan nokta ise bu metin dosyası içerisindeki komutların, sizin web sitenizin amacına uygun olmasıdır. Robots.txt dosyasını oluşturmanız için bir yazılımcı olmanız gerekmez. Herhangi bir programlama bilginiz olmasa dahi dikkatli bir şekilde oluşturarak, kullanabilirsiniz.

SEO yani arama motoru optimizasyonu açısından kritik bir öneme sahip olan Robot.txt dosyası, doğru komutlar ile hazırlandığında firmanızın amaçlarına oldukça verimli şekilde ayak uydurabilir. Fakat yanlış hazırlanan dosya ise web sitenizi geri konumda bırakacaktır. Robot Engelleme Protokolü’nün bir ayağı olarak görülen robots dosyası, web sitenize arama motoru botları açısından belirli sınırlar koyar.

Robots.txt SEO İçin Önemi

Robots.txt dosyası, tüm arama motorları tarafından ortak olarak kontrol edilen, bir sitenin hangi kısımlarının indekslenip, hangi kısımlarının indekslenmemesini gösteren metin dosyasıdır. Web sitesi sahibinin sitesinin indekslenmemesini isteme sebepleri değişebilir. Bunlara örnek olarak, şifreli alanlar, özel videolar ve fotoğraflar, yapım aşamasındaki sayfalar, değiştirilecek olan site bölümleri gibi nedenlerle web sitenizin bir kısmının indekslenmesini istemeyebilirsiniz.

Robots.txt dosyası bunun yanında arama motoru optimizasyonu için de çeşitli avantajlar sağlar. Sağladığı SEO avantajlarından bir tanesi, tekrarlanan içerikleri engellemesidir. Web sitenizin bölümlerini net olarak belirler ve tekrar eden dosyaları bu arama botlarına göstermez. Aynı şekilde bu dosya, subdomain veya subfolder gibi belirli bölümleri de arama motoru botlarından gizler.

Robots.txt Dosyası Nasıl Oluşturulur

Robots.txt dosyası oluşturmanın en temelde iki yöntemi vardır. Bunlardan birisi otomatik olarak dosyayı oluşturabileceğiniz programlardır. Diğer yöntem ise, robots.txt dosya oluşturma işlemini kendiniz yaparak kök dizinine eklemenizdir. Bu konularda bilgi ve pratik olarak kendinizi eksik görüyorsanız internet üzerinde bulunan robots.txt generator gibi hazır dizinlerden yardım alabilirsiniz.

Eğer web sitesi sahibi kendisi bir robots dosyası oluşturmak isterse, bazı noktalara dikkat etmelidir. Öncelikle yeni bir metin belgesi açılarak ismi robots.txt olarak değiştirilmelidir. Bu dosyalarda User-agent ve Disallow değişkenleri yer alır. User-agent arama motorunun adını belirlerken, Disallow bu arama botlarının izin durumlarını belirlemek için kullanılan komut satırıdır.

Bu dosyayı oluştururken bazı standartlara uymanız gerekmektedir. Bunlardan en önemlisi bu dosyanın site kök dizinine eklenmedir. Bir diğer önemli nokta bu dosya ile web sitesinin URL formatlarının aynı olmasıdır. Son olarak ise Robots.txt dosyası UTF-8 türünde kodlamaya uygun şekilde hazırlanmış olmalıdır. Bu dosya için kullanılan alan adı uzantısı, web sitenize erişim için kullanılan alan adı ile aynı şekilde düzenlenmelidir.

Yanlış Kullanım: https://alastyr.com/main.robots.txt

Doğru Kullanım: https://alastyr.com/robots.txt

Robots Dosyası Sayfa Engelleme

Robots.txt dosyası oluşturmak için üç çeşit komut etkeni vardır. Bu komut çeşitleri grup içi komutlar, grup dışı komutlar ve notlar olarak karşınıza çıkar. Grup içi komutlar, kesin komutları ele alır. Grup dışı komutlar ise site haritasının oluşturulmasında görev alır. Notlar ise dosyanızın içine eklediğiniz komutlar için not ve yorum yazabilmeniz için oluşturulmaktadır.

Sayfa engelleme veya izin verme komutları, robots,txt dosyasının grup içi komut çeşitleri ile yapılmaktadır. Web sitenizin belirli bir bölümünün veya bölümlerinin taranmasını istemiyorsanız, komut satırınızı buna göre oluşturmanız gerekir. Böylelikle indekslenmeyen sayfalarınızı geliştirmeye, ileri zamanlı değiştirmeye ve yayınlamaya devam edebilirsiniz.

Bu noktada allow ya da disallow komutları sayesinde web sitenizin belirli bölümlerine erişim izni veya yasağı verebilirsiniz. Unutmamanız gereken şey ise bu noktada yaptığınız değişiklikler arama motoruna özeldir. Kullanıcılarınız erişime devam edebilir.  Örneğin;

User-agent: *

Disallow: /ozel-belgeler.html/

Bu komut sayesinde arama motoru botu tarafından, yalnızca https://ornek.com/ozel-belgeler.html adresinde yer alan içeriğin taranması ve dizine eklenmesi engellenecektir. Siteniz üzerinde erişilmesini ve indekslenmesini istemediğiniz noktalar için bu komutu dosyanıza işlemeniz gerekmektedir. Dizin ve URL arasındaki ilişkiyi doğru şekilde işlemeniz bu noktada oldukça önemlidir.

Robots Dosyası Kodları

Robots dosyası bir metin belgesi açılarak hazırlanabilir. Belge içerisindeki User-agent ve Disallow/allow kısımları ise doğru şekilde kodlanmalıdır. Bu kısımlarda yaptığınız yanlışlar robots dosyanızın gerektiği gibi çalışmamasına sebep olabilir. Amacınıza ve ihtiyacınıza uygun hizmet edebilecek komut türü seçilerek, doğru şekilde yazılmalı ve kök dizine eklenmelidir. Bu komutlar şu şekilde örneklendirilebilir.

Örnek 1:

User-agent: *

Allow: /

Bu şekilde yazılan robots.txt dosyalarında, arama motorlarının tüm web sitesini tarayarak indekslemesine izin verilir. Burada User-agent kısmına yazılan “*” işareti bu komutun tüm arama motoru botları tarafından algılanmasını sağlar.

Örnek 2:

User-agent: DeepCrawl

Disallow: /private/

DeepCrawl yazılan komut satırı, bu komutun sadece Google tarafından gönderilen ve belirli aralıklarla web sitenizi ziyaret eden bota özel olduğunu gösterir. Alt satırda bulunan “private” komutu ise bu dosyanın, ilgili bot tarafından indekslenmemesini istediğinizi gösterir.

Örnek 3:

User-agent: *

Disallow: /

Bu şablon ile oluşturulan dosyalarda, ilk komut satırında tüm arama motorlarına izin verilir. İkinci satırdaki komuttan itibaren ise “disallow /” komutu ile robot txt folder dissallow emiri verilir. Web sitesindeki bu kısımda belirtilen dosyalara erişim kısıtlanır ve indekslenemez. Bununla beraber “disallow /” satırları uzadıkça arama motoru botları bu satırlarda belirtilen dosyaların hiçbirinde indeksleme yapamaz.

Örnek 4:

User-agent: *

Disallow: /directory/dosya.html

Bu komut şablonu ile oluşturduğunuz robots dosyaları sayesinde, arama motoru botları web sitesini indekslerken, directory dizininde bulunmakta olan dosya.html konumunu tarayamaz ve indeksleme yapamaz. Bu şekilde indekslenmesini istemediğiniz dosyaları dışarıda bırakarak daha sonra rahat bir şekilde değiştirebilirsiniz.

Örnek 5:

User-agent: *

Allow: /dosya1/site.html

Disallow: /dosya1/

Bu robots.txt komut şablonu ile arama motoru botlarına, dosya1 dizini içerisinde bulunan site.html dosyası hariç diğer dosyalara tarama ve indeksleme yasağı koymuş olursunuz. Arama botlarına bu komutlar ile robot txt nofollow ve noindex komutu verdiğiniz için belirtilen sayfa ve dosya için tarama yapamazlar. Bu şekilde indeksleme istenilmeyen sayfalarda şu şekilde komut yazılır.

<meta name=”ROBOTS” content=”NOINDEX,NOFOLLOW”

İhtiyacınıza cevap verebilen, bir robots dosyası oluşturarak web sitenizin root yani kök dizinine bu dosyayı yüklemeniz gereklidir. Bu işlemleri yapmazsanız dosyanız istediğiniz şekilde çalışmayacaktır. WordPress tabanlı bir web siteniz varsa ve robot txt wordpress komutları ile oluşturmak istiyorsanız, size hazır şablonlar sunan “robots.txt rewrite” eklentisi işinize yarayabilir.

Alastyr Teknoloji, domain (alan adı), web hosting, bulut sunucu (cloud server) ve veri merkezi hizmetleri ile siz de projelerinizi hayata geçirebilirsiniz. Hızlı, güvenli ve ekonomik web çözümlerimiz ile ihtiyacınız olan performansa sahip olun. Türkiye’nin en çok tavsiye edilen domain ve hosting firması Alastyr, güçlü teknoloji alt yapısı, en güncel yazılımları, 7/24 Türkçe Destek hizmeti ve 15 gün koşulsuz iade garantisi ile hizmet vermektedir.

Web projeleriniz için en uygun fiyatlarla alan adı sorgula. Bireysel ve kurumsal web projeleriniz için cloud sunucu satın al. Web sitelerinizi hızlı, güvenli ve yüksek performans ile yayınlayabileceğiniz hızlı ve kaliteli hosting paketine sahip ol. Kurumsal mail paketlerimiz ile de işletmeleriniz için yüksek disk kapasitesine sahip sınırsız e-posta hesapları oluşturun. SSL sertifikası ile sitenizin güvenliğini arttırın.