robots.txt dosyası, web sitenin köküne yerleştirilen, arama motoru tarayıcılarına sitenin hangi bölümlerini isteyip isteyemeyeceklerini söyleyen küçük ama güçlü bir metin dosyasıdır. Çoğu tarayıcının bir siteyi keşfetmeden önce kontrol ettiği ilk şeydir. Doğru kullanıldığında tarama verimliliğini yönetir; dikkatsiz kullanıldığında tek bir satır tüm siteni Google’dan gizleyebilir.

robots.txt ne yapar — ve ne yapmaz

robots.txt taramayı kontrol eder, indekslemeyi değil. İyi davranan botlara hangi URL’leri çekebileceklerini söyler. Önemlisi, bir sayfayı Google’ın indeksinden güvenilir şekilde tutamaz — engellenen bir sayfa başka yerden linklenmişse Google onu yine de (açıklamasız) listeleyebilir. Bir sayfayı arama sonuçlarından uzak tutmak için bunun yerine bir noindex etiketi kullan ve sayfanın robots.txt’de engellenmediğinden emin ol ki Google o etiketi görebilsin.

Temel söz dizimi

Bir robots.txt dosyası, user-agent’a göre gruplanmış kurallardan oluşur:

  • User-agent — kuralın hangi tarayıcıya uygulandığı (* hepsi demektir).
  • Disallow — tarayıcının istememesi gereken bir yol.
  • Allow — engellenen bir yol içindeki bir istisna.
  • Sitemap — XML sitemap’inin konumu.

Örneğin, yönetim alanını ve sepeti engelleyip diğer her şeye izin verebilir, sonra en alta sitemap’ine işaret edebilirsin.

Ne engellenir — ne engellenmez

robots.txt’nin iyi kullanımları arasında yönetim sayfalarının, site içi arama sonuçlarının, sonsuz parametre kombinasyonlu filtreli navigasyon URL’lerinin ve tarama bütçesini boşa harcayan diğer düşük değerli bölümlerin taranmasını engellemek vardır. Asla yapmaman gereken, Google’ın sayfalarını işlemek için ihtiyaç duyduğu CSS ve JavaScript’i engellemek ya da sayfaları indeksten gizlemek için robots.txt kullanmaktır — ikisi de yaygın, zararlı hatalardır.

En tehlikeli hata

En felaket hata, User-agent: * altında tüm siteni tüm tarayıcılardan engelleyen başıboş bir Disallow: /’dur. Bu çoğu zaman bir test ortamından canlıya sızar. Bir lansman veya geçişten sonra bunu her zaman kontrol et — yanlışlıkla her şeyi engellemediğinden emin olmak için canlı kurallarını Robots.txt Test Aracı ile doğrula.

robots.txt nasıl oluşturulur ve test edilir

allow/disallow kuralları ayarlamana ve sitemap’ine referans vermene izin veren Robots.txt Oluşturucu ile geçerli bir dosya oluştur. Sonra herhangi bir sitenin kurallarını incele ve seninkinin amaçlandığı gibi çalıştığını Robots.txt Test Aracı ile teyit et. Sitemap konumunu her zaman robots.txt’de belirt ve bulunduğunu Sitemap Bulucu & Doğrulayıcı ile doğrula.

Sıkça sorulan sorular

robots.txt bir sayfayı Google’dan kaldırır mı?

Hayır. Bir sayfayı robots.txt’de engellemek yalnızca taramayı durdurur, indekslemeyi değil. Engellenen bir sayfa başka yerden linklenmişse yine sonuçlarda görünebilir. Bir sayfayı aramadan kaldırmak için noindex etiketi kullan ve Google o talimatı okuyabilsin diye taranabilir bırak.

Bir robots.txt dosyasına gerçekten ihtiyacım var mı?

Hiçbir şeyi engellemen gerekmiyorsa robots.txt isteğe bağlıdır — ama her şeye izin veren ve sitemap’ine işaret eden bir tane bulundurmak yine de iyi bir uygulamadır. Tarayıcılar onu aradığında 404 hatalarını önler ve sonra kural eklemek için sana bir yer verir.

Sonuç

robots.txt hassas bir araçtır: taramayı yönlendirir ama indekslemeyi kontrol etmez ve tek bir yanlış satır pahalıya patlayabilir. Onu tarama verimliliğini yönetmek için kullan, asla CSS/JS’yi engellemek veya sayfaları indeksten gizlemek için değil ve sitemap’ini her zaman belirt. Onu Robots.txt Oluşturucu ile oluştur ve teknik SEO denetiminin bir parçası olarak Robots.txt Test Aracı ile doğrula.