Robots.txt, dosyası, web sitenizin hangi bölümlerinin arama motoru robotları tarafından taranabileceğini veya taranamayacağını belirten bir metin dosyasıdır. Arama motoruna özel olarak belirlenebilen kuralların oluştuğu bölümdür. Her arama motoru botunun tarama ve indeksleme sırasında dikkate alması gereken alandır. Tarama öncesi burada yer alan kurallar dikkate alınarak ilerlenir. Fakat her zaman dikkat edileceği, uygulanacağı anlamına gelmez.
Çünkü bu kurallar var olsa da arama motorları kendi içerisinde iyi ve kötü olarak ayrılır. İyi niyetli olan arama motoru botlarının bahsi geçen kurallara uyum sağladığı görülür. Fakat kötü olan botların bu kuralları es geçerek kendi bildiğince tarama yapması, spam oluşturma olasılığı da mevcuttur.
Yine de her sitenin doğru oluşturulmuş bir robots.txt dosyası olması gerekir. Böylece daha doğru SEO çalışmaları yapılabileceği gibi sıralama ve indeksleme sırasında da avantaj elde edilebilmektedir.
‘’Doğru bir SEO stratejisi için robots.txt metni, siteye özel oluşturulmalıdır. Sıfırdan oluşturulurken tek bir arama motoruna bağlı kalmamalı, genel düşünülmelidir.’’
Robots.txt Dosyası Neden Önemlidir?
Web siteleri kuruluş amacına bağlı olarak belirli sayfalara, bölümlere ve içeriklere sahiptir. Yer alan tüm sayfaların kullanıcılar için oluşturulduğunu düşünmek ya da söylemek yanlıştır. Çünkü bazı içerikler sayfanın eksiksiz olması için ya da temel oluşturması için oluşturulur. Fakat ön planda olmaması istenir ya da sıralama almasının bir önemi yoktur.
İşte tam da bu aşamada robots.txt dosyaları devreye girecektir. Ön planda olması istenmeyen sayfaları belirleyerek bunların dikkate alınmamasını sağlar. Böylece istenen sayfalar daha fazla ön plana çıkarılabilirken yönlendirmeler sayesinde indekslenme oranları arttırılabilir.
‘’Arama motoru botları için robots.txt dosyasında tarama yap ya da yapma emirleri verilir. Bu emirler sayesinde hedeflenen içerik sayfalarına ya da bölümlerine odaklanma sağlanır.’’
Diğer taraftan robots.txt dosyalarının reklam bütçesi oluşturma aşamasında da etkileri bulunur. Reklam bütçesini korumak ve dahası bütçeyi yönetmek amacıyla her sayfaya yönlendirme yapılmaz. İstenmeyen, önemsiz görülen sayfalar bu kural dosyası sayesinde geri planda tutularak reklam bütçeleri yönetilebilir.
SEO için Robots.txt Dosyası Neden Önemlidir?
SEO; belirlenen sayfa ya da içeriklerin ön plana çıkarılarak okuyucuya sunulmasını, arama sonuçlarında bu alanların üst sıralara çıkmasını sağlayan bir dizi işlemdir. Arama motoru optimizasyonu olarak adlandırılan bu işlemler de robots.txt dosyası ayrı önemlidir. Doğru optimizasyon sağlamak amacıyla SEO hizmeti kapsamında yönlendirilen bir alandır.
Robots.txt dosyası öncelikle taranması istenen sayfaları belirlemeyi sağlar. Gereksiz sayfaların taranmasına engel olunarak trafiğin asıl alanda toplanması sağlanabilir. Bu aşamada doğru yönlendirme ve kuralların oluşturulması web sitenin trafiği ya da sıralama almasında etkili olacağı düşünülmektedir.
Diğer taraftan her sitenin Google tarafında bir ‘tarama bütçesi’ bulunur. Tarama bütçesi botların harcayacağı kredi olarak düşünülebilir. Kredi doğru sayfalara harcandığında sıralama alma potansiyeli ortaya çıkar. İstenmeyen sayfaların taranması bütçeyi yok edeceği için robots.txt metni sayesinde tarama bütçesi daha doğru yönetilebilir.
‘’Tarama bütçesini belirleyen çeşitli etkenler bulunur. Ancak bütçeyi yönetmek için en etkili unsurların başında robots.txt metni oluşturmak gelir.’’
Robots.txt Dosyası Nerede Bulunur?
Her sayfanın sahip olduğu robots.txt dosyası sunucusunda yer almaktadır. Web sitenin açık kaynaklarında yer almadığı için normal bir kullanıcı web site üzerinde doğrudan bu sayfayı görmeyecektir. Ancak ulaşılması için birkaç basit aşamanın izlenmesi yeterli olacaktır.
Web site adresinin yazılmasından sonra sonunda /robots.txt yazıldığında o sayfanın sahip olduğu kurallara erişim sağlanabilir. Örneğin: example.com/robots.txt yazıldığında ve arama yapıldığında ilgili sitenin metnine erişebilirsiniz.
‘’İpucu: Her domain için ayrı bir robots.txt metni yer alır. Eğer subdomain kullanıyorsanız, her bir alan için ayrı robots.txt oluşturmanız gerektiğini unutmayın.’’
Robots.txt Dosyası Nasıl Çalışır?
Temelde robots.txt metninin çalışma prensibini oldukça kolaydır. İki farklı amaca hizmet eder:
- Var olan sayfaları taramak,
- Taranmış olan sayfaları kullanıcılar için sıralamaya eklemek.
Bunu yaparken gerçekleşme aşamaları ise benzerlik göstermektedir. Arama motoru botu bir sayfaya girer. Bu sayfada var olan linkleri takip ederek diğer sayfalara erişir ve bu süreç böyle devam eder. Ancak robots.txt metnine eklenecek kullanıcı (yani * alanı) ve beraberindeki komutlara göre durum değişir.
Eğer arama motoru botu iyi niyetliyse tarama yapmadan önce robots.txt sayfasına göz atar. Buraya bağlı olarak arama yapar ve süreci yönetir. Kötü niyetli botlar ise direkt bu metni atlar ve kendisine göre tarama işlemine geçer.
‘’Arama motoru botunun tarama niyeti önceden kestirilemez. Bu yüzden robots.txt sayfası her zaman işlevsel olmasa da zorunlu olarak bulunmalıdır.’’
Doğru bir robots.txt dosyası oluşturmak için bazı kavramları bilmek, nasıl ve nerede kullanılacağına hakim olmak gerekecektir. Sık karşılaşılan hataları engellemek de böylece mümkün kılınır.
‘’User-agent*’’ Nasıl Çalışır?
User-agent* kısaca bir arama motorunun botunu adlandırmak için belirtilen kullanıcı bölümüdür. Botu tanımlamak için kullanılması gerekir. Çünkü web sitenin yer alacağı tarayıcı sayısı fazla olabilmektedir. En çok Google kullanılsa da Bing, Yandex gibi arama motorları da düşünülerek hareket edilmelidir.
Robots.txt metni ‘user-agent*’ kısmıyla başlar. Buraya ilk olarak arama motorunu belirtmeniz gerekecektir. Örneğin tek bir arama motoru botuna hitap edilecekse User-Agent: Googlebot yazılması yeterli olacaktır.
‘’Her arama motoru için özel bir kural oluşturulmayacaksa * işareti kullanılmalıdır. Yıldız işareti, tüm arama motoru botlarını temsil ederek genel kural oluşturulmasını sağlar.’’
Kullanıcı isminin altına daha sonra eklenecek olan kurallar sıralanabilir. Her bir kural üstte yer alan kullanıcıyı kapsayacak şekilde devreye girecektir. Genelde bu kısımda tüm botları kapsaması için * kullanılabildiği gibi özelleştirilme imkânı da bulunur.
‘’Arama motoru botları kendi içerisinde de ayrılabilmektedir. Örneğin sadece görseller için Googlebot-Image ya da haberler için Googlebot- News gibi ayrım yapılabilir.’’
Disallow Nasıl Çalışır?
Disallow, izin verme komutu anlamına gelir ve robots.txt dosyasında yaygın olarak kullanılmaktadır. Bu kod özellikle arama motorunun dikkat almasını istemediğiniz URL ve sayfalar için kullanabilirsiniz. Tek bir sayfa için belirleyebileceğiniz gibi genel bir dizini de tamamen engelleyebilirsiniz.
User-agent kısmından sonra Disallow: komutu yazmaya başlayarak kural ekleyebilirsiniz. Diyelim ki, sayfanızda şu URL’ye sahip bir yazı bulunsun: example.com/robots-txt-nedir
Yukarıdaki sayfaya, içeriğe arama botlarının ulaşmasını istemiyorsanız şu şekilde bir komut oluşturabilirsiniz:
Disallow: /robots-txt-nedir
Eğer genel anlamda bir sayfaya erişim engellemek isterseniz yine bu adresin domain adresinden sonra kalan kısmını – ekleyerek belirtebilirsiniz.
Robots.txt Neden İhtiyacınız Var?
Etkili SEO hizmeti alabilmek ve tarama bütçesini yönetebilmek için robots.txt ihtiyacınız bulunuyor. Aksi takdirde arama botları kendisine göre hareket edecek, zamanınızı boşa harcamanıza neden olacaktır. İlgili konuda uzman olan bireyler tarafından oluşturulacak bir robots.txt kuralları her zaman sitenize olumlu etki bırakır.
‘’Sadece SEO anlamında değil, Google reklam bütçenizi belirleme ve doğru strateji oluşturma konusunda da katkıları kanıtlanmıştır.’’
Robots.txt Dosyası Nasıl Oluşturulur?
Öncelikle .txt formatına sahip bir metin düzenleyici açın. (Bilgisayarda ya da web üzerinden açabilirsiniz) Dosyayı açtıktan sonra sırasıyla:
- User-agent,
- Allow
- Disallow
- Sitemap oluşturun.
Metin düzenleyicide kullanıcı belirlemediğiniz takdirde kurallar bir anlam ifade etmeyecektir. Daha önce değinildiği üzere Allow takip edilmesini özellikle istediğiniz sayfalar, Disallow ise takip edilmesini istemediğiniz URL yapılarını içermelidir. İsteğe bağlı olarak önemli gördüğünüz alanları yansıtan bir sitemap de en sona eklenebilir.
‘’Botlar, yukarıdan aşağı tarama yaptığı için özel bot kurallarını en başa yazmalısınız. Daha sonra genel kuralları belirtmek için User-Agent bölümünde * kullanarak ilerlemeniz gerekir.’’
Oluşturduğunuz dosyayı daha sonra ‘robots.txt’ ismiyle adlandırın ve kayıt edin. Bu aşamadan sonra kullandığınız sunucu sistemine göre dosyayı yükleme şekliniz değişecektir. Kullandığınız sunucuya göre robots.txt yükleme şeklini öğrenmeli, aşamaları sürdürmelisiniz. Dosyayı yüklediğinizde kullanılabilir hale gelecektir.
Robots.txt Dosyasıyla İlgili Yapılan Yaygın Hatalar ve Kaçınılması Gerekenler
İlk ve en büyük hata bu dosyanın çok önemli görülmemesidir. Spam oluşturan kötü arama motoru botları yer alsa da sisteme dikkat ederek ilerleyen botlar mevcuttur. Bu yüzden robots.txt dosyasının mutlaka oluşturulması gerekir.
Diğer taraftan konu hakkında detaylı bilgisi olmayan bireyler tarafından metin dosyasının oluşturulması gelmektedir. Eğer daha önce robots.txt dosyası oluşturmadıysanız işini bilen bir kişi ya da firmadan destek almanız gerekir.
Robots.txt dosyaları HTML kuralları içermez, basit yapıya sahiptir. Ve kesinlik .txt dosya biçimiyle sisteme eklenmelidir. Yanlış format kullanımı dosyanızın dikkate alınmamasına neden olur. Bu yüzden doğru format ve komutlar kullandığınıza emin olmalısınız.
