Tarama Bütçesi Nedir? Neden Optimize Edilmeli?

Tarama bütçesi, arama motorunun belirli bir sürede herhangi bir internet sitesinde taramayı istediği ve tarayabildiği maksimum sayfa sayısına verilmiş bir isimdir. Arama motorlarının botlarının internet sitesi için tarayabildiği URL sayısı ve taramaya ayırdığı süre tarama bütçesidir.

Diğer bir ifadeyle tarama bütçesi, arama motorlarının bir web site için ayırdığı süre ve kaynak miktarıdır. Bileceğiniz üzere arama motorlarının web sitelerini taramak ve indekslemek için botları bulunur. Arama botlarının web sitelerini tarama oranı her site için farklıdır. Çünkü burada web sitesi için ayrılan tarama bütçesi devreye girmektedir.

Tarama bütçesi internet sitesi hızı, dizine eklenen sayfaların sayısı, internet sitesinin boyutu gibi birçok faktörden etkilenmektedir. Tarama bütçesine etki gösteren faktörler üzerinde yapılan iyileştirme çalışmalarıyla ilgili internet sitesinin tarama bütçesinin optimize edilmesine katkı sağlanmaktadır.

Bu işlemin bütçe adıyla anılmasının sebebi; arama motorlarının internet ortamında yer alan sayısız site ve sayfayı tarama noktasında kaynakları optimal düzeyde kullanabilmek için belirli kısıtlamalara gitmesidir. Ek olarak çeşitli faktörlere bağlı durumda olan tarama limitleri belirlemesidir.

Google başta olmak üzere her arama motoru kendi içerisinde belirli bir kaynağa sahiptir. Sahip oldukları kaynağı doğru paylaştırmak ve şirketi korumak adına web sitelerine kalitesine göre yaklaşım sağlamakta aynı zamanda plan yapmaktadır. Sitenizin taranması ve indekslenmesi ile alakalı olan bu süreçte mutlaka tarama bütçesi nedir konusu ile karşılaşırsınız.
Gelin birlikte bu konuya daha yakından bakalım.

Tarama Bütçesi (Crawl Budget) Nedir?

Tarama bütçesi (Crawl Budget), Google botlarının websitenize uğradığında tarayabildiği en çok sayfayı belirtmek için kullanılan bir SEO terimidir. Tarama bütçesi yüksek bir web sitesinde bazı içerikler indexlenmeyebilir veya Google botlarının karşısına çıkması geciktiğinden hiç görmemiş dahi olabilir. Bu yüzden SEO çalışmalarının önemli bir kısmını oluşturur.

Ne demek istiyoruz? Bir iş yerinin patronu olduğunuzu düşünün ve 10 ayrı çalışanınız olsun. Şirketin kazancını çalışanlara ayırmak konusunda planlı olmalı ve her bir çalışan ödeme alacak şekilde ayarlama yapmanız gerekir. Yalnız sadece tüm çalışanların ödeme alması önemli değildir. Aynı zamanda tecrübesi yüksek olan çalışanın ödemesi görece diğerine göre daha iyi olmalıdır. Tarama bütçesi de buna benzer.

Hatalı ve sorunlarla dolu bir web sitesinde sırayla tarama yapan Google botları tarama bütçesinin sonuna geldiğinde hala taranmamış sayfalarınız bulunuyor olabilir. Bu durumu çözmek için iç SEO çalışmalarını hızlandırmalı ve özellikle teknik hataları gidermelisiniz. Aksi halde Google botları her problemle karşılaştığında kötü sonuçlarla ayrıldığından sitenin bütününe tesir edebilecek gerilemeler yaşayabilirsiniz.

Arama motorları, sahip olduğu kaynakları doğru değerlendirmek adına web sitelerini kendi içerisinde kategorileştirmektedir. Taleplerini yerine getiren web sitelerin gün içerisinde 10 adet sayfasını tarayabilirken daha kötü durumda olan bir sitenin bir sayfasını tarayabilir. Hatta bazı sitelerin günlük taranma limitleri bile yoktur. Bu durum ilgili sayfanın taranmamasından dolayı indekslenmemesine neden olacaktır.

Örnek verecek olursak birçok 404 hatası bulunan bir web siteniz olduğunu düşünün. Google botları fazlasıyla 404 sayfasından sonra taramayı bırakarak web sitesinden çıkacaktır ve hemen çıkma oranınıza da etki edecektir. Ardından güncellediğiniz veya yeni oluşturduğunuz sayfalarınızı görmeyecek ve bu devamında da şekilde tekrar edecektir. Bu noktada sitede oluşan problemleri takip etmenin ve çözmenin önemi çok büyüktür.

Böylelikle crawl budget nedir? sorusuna yanıt bulduğumuzu düşünüyorum.

Tarama Talebi Nedir?

İnternet sitesinde yapılan çeşitli güncellemeler sonucunda arama botlarının bu değişiklikleri ve güncellemeleri anlayabilmek adına oluşturulan talebe tarama talebi adı verilmektedir. Sitede yapılan güncellemelerin siteye hızlı şekilde yansıması için muhakkak tarama talebi oluşturulmalıdır.

Tarama talebi, arama motoru botlarının internet sitesini ne kadar ve ne miktarda taramak istediğini belirtmek için kullanılmaktadır. Arama motorlarında internet sitelerinde yer alan içeriklerin, dizine eklenme durumu olmadığı veya içeriklerin dizinde güncellemesine gerek duyulmadığı noktalarda tarama talebi sayısı azaltılabilmektedir.

Tarama Oranı Sınırı Nedir?

Tarama oranı sınırı, arama motoru botlarının sitede yer alan sayfaların ne kadar taranabileceğini göstermektedir. Tarama oranı sınırı her zaman değişiklik göstermektedir. Tarama oranı sınırını site içi ve site dışı yapılan SEO çalışmaları etkilemektedir. İnternet sitesinin taranması tamamen arama motoru botlarını uygun şekilde optimize etmeye bağlıdır.

Tarama Bütçenizi Nasıl Artırabilirsiniz?

Tarama bütçesi optimizasyonu, tarama bütçesini etkileyen faktörlerinin tümünün veya önemli bir kısmının kusursuz olarak optimize edilmesini içermektedir. Tarama bütçesinin bu denli önemli olduğu arama motorlarında tarama bütçenizi nasıl artırabilirsiniz veya tarama bütçesi artırmak için neler yapılabilir?

• Sayfanın teknik hataları düzeltilmelidir.
• Sitenin belirli bir bölümü taramaya kapatılmalıdır.
• Site hızı artırılmalıdır.
• Sunucu hızı artırılmalıdır.
• Birbirine benzeyen kopya içerikler siteden kaldırılmalıdır.
• Site içi linklemelere özen gösterilmelidir.
• Site içinden veya site dışından herhangi bir linkleme almayan yetim sayfalar optimize edilmelidir.

Konuyu özetlemek gerekirse; tarama bütçesinde sorun varsa bunu düzeltmenin yollarına göz atmalısınız. Yapacağınız birkaç işlem ile kısa sürede siz de tarama bütçenizi doğru ayarlayabilirsiniz. Ancak teknik anlamda bilginiz yoksa ya da crawling ne demek konusuna hakim değilseniz alanında uzman firmalardan destek almanız gerektiğini unutmayın.

Web Site Hatalarınızı Azaltın

Bazı SEO araçları ile sayfalarınızın sahip olduğu durum kodlarına göz atın. 200 ve 301 yönlendirme kodları dışında oluşan kodlar sorun anlamına gelir. Bu kodları belirledikten sonra kendi aralarında erişim sıklığına göre sıralayarak tek tek hataları düzeltmeye çalışın. Hataları başka yönlendirme yaparak ya da kod düzenlemesi yaparak giderebilirsiniz.
SEO aracı kullanmak istemezseniz, Google Search Console kullanarak da ilerleyebilirsiniz. Burada hatalı yönlendirmeler ya da erişim sağlanamayan URL’leri bulabilirsiniz. Son olarak premium Yoast SEO kullanıyorsanız yönlendirmelerini takip etmeniz de hataları gidermenize yardımcıdır.

Robots.tx ile Engellemeler Yapın

Sitenizin her sayfası arama botları tarafından taranmak zorunda değildir. Robots.tx aracılığıyla bazı sayfaların taranmasına engel olabilirsiniz. Bu işlemi yaparken konuya dair bilgiliyseniz yapmalısınız aksi takdirde yanlış işlemler yüzünden olumsuzluk yaratabilirsiniz. Teknik SEO kapsamına gireceğinden bu alanda uzman bir kişiden yardımcı olabilirsiniz.
Özellikle e-ticaret sitelerinde sayfa sayısı fazladır ve bazı ürün filtreleme özellikleri ekstra URL oluşumuna neden olur. Bu tarz sayfaları engelleyerek siz de arama motorunun sunacağı tarama bütçesini daha doğru ayarlayabilirsiniz.

Yönlendirme Yükünü Azaltın

Google tarama yaparken daha önce de bahsettiğimiz üzere yönlendirmelerden dolayı tarama bütçesine yükleme yapar. Çok sayıda yönlendirmeniz mevcutsa bu durum tarama bütçenizin olumsuz etkilenmesine neden olur. Mümkün mertebe yönlendirmelerinizi azaltın, gerekirse sayfaları silerek azaltın.

Backlink Sayınızı Doğru Oranda Arttırın

Sektörde her ne kadar backlink alımı ve yönlendirme konusu yanlış anlaşılıyor olsa da siteniz için gerekli olan bir unsurdur. Sitenizi ‘doğru oranda’ backlink alarak destekleyin. Yani Google gözünde sitenizi referans olarak göstererek ‘iyi görünüm’ elde etmeye yardımcı olun. Bunu yaparken sadece web sitelerinden değil sosyal medya ve diğer uygulamalardan link paylaşımı yaparak oluşturabileceğinizi unutmayın.

Teknik SEO Çalışmalarınızı Güçlendirin

Teknik işlemler başta SEO çalışmalarınız için önemliyken aynı zamanda tarama bütçenize etki edecek bir unsurdur. Hataları fark etmek ya da olası hatalara engel olarak arama botlarını daha doğru yönlendirebilirsiniz.

İç Linkleme Ağını Oluşturun

Web siteler için sadece dış linkler yani referanslar değil, iç link ağı da oldukça önemlidir. Alakalı içerikleri birbiri ile bağlarsanız iç SEO açısından ilerlemiş olursunuz. Aynı zamanda burada arama botlarına da yön vereceğiniz için etkili bir süreç tasarlarsınız.

Kopya İçeriklerden Uzak Durun

Kopya içerikler sitenizi her konu olumsuz etkileyecektir. İçeriklerinizi bir ajans ya da uzmandan alıyorsanız, doğru adres olduklarına emin olun. Sadece içeriklerin kopya içermesi değil aynı zamanda içeriklerin benzer olamaması da gerekir. Yani site içerisindeki size özel içerikler de birbiri ile benzer olmamalı, kopyaya düşmemelidir.

Web Sitenizi Hızlandırın

Kullanıcı işlemlerini kolaylaştırmak ve deneyim kazandırmak adına da siteyi hızlandırmayı deneyin. Gereksiz sayfalardan kurtulun, görsel optimizasyon sağlayın ve diğer tüm işlemleri gerçekleştirin. Böylece site hızınız artış göstererek kullanıcı deneyimini arttırarak arama motorları tarafından daha kolay fark edilecektir.

Yetim Sayfaları Optimize Edin

İçerikten link çıkmayan ya da görsel optimizasyonu yapılmayan içeriklere yetim sayfa denmektedir. Eğer yetim sayfa bulunuyorsa bunları tespit ederek ilgili olan sayfalara linkler çıkmayı deneyin. Böylece bir kuralı daha yerine getireceğinizden tarama bütçenizi iyileştirebilirsiniz.

Tarama Bütçesi Önemi

Tarama bütçesi, internet sitesinin taranabilirliğinin temelini oluşturan SEO hizmeti süreçlerinin olmazsa olmaz unsurudur. Teknik SEO sağlığı için de tarama bütçesi önemi yadsınamaz değerdedir. Teknik yapıda kusurlu olan, çok fazla sayıda yönlendirme zincirini içeren, kopya durumundaki içerikleri bünyesinde olan, yönlendirme eklenmeyen linksiz içerikleri içeren siteler tarama bütçesini negatif anlamda tüketebilmektedir.

Arama motoru botlarının site sayfasını negatifle karşılaşmadan taraması; tarama bütçesini artırarak sayfaların sorunsuz görüntülenmesini, sitede gerçekleştirilen değişiklik ve güncellemelerin takip edilmesini ve arama sonuçlarında sıralama almayı dolaylı şekilde etkilemektedir.

Bir internet sitesi kalitesinin ve içerisinde bulunan içeriklerin arama motoru botları tarafından keşfedilmesi ve değerlendirilmesi en temelde taranabilirlik, arama motoru sonuç sıralarına sağladığı katkılardan dolayı SEO süreçleri için önemlidir.

Tarama Bütçesini Neden Önemsemelisiniz?

Bir sayfanın arama botları tarafından taranmaması indesklenmemesi anlamına gelir. İndesklenmeyen bir site için çalışmanız vakit kaybından başka bir şey değildir. Taranan her sayfa yüksek sıralama alacak diye bir kural yoktur. Fakat SEO çalışmaları yapıyorsanız ve sıralama alma hedefindeyseniz, önce indekslenmeniz şarttır.

Daha fazla indesklenmek sitenizin sağlığına katkıda bulunur. İndekslenme sayısını arttırmak için tarama gerekir. Peki tarama nedir?

Tarama arama botlarının sitenize gelerek verileri kaydetmesidir. Göreceğiniz gibi tekrar tarama bütçesi konusuna geri dönüyoruz. İndekslenme ve tarama birbiri ile kardeş kelimelerdir. Bu yüzden tarama bütçesine dahil olmanız, bu bütçeyi kendi adınıza en iyi şekilde oluşturmalısınız.

Diğer taraftan tarama bütçesinin önemini arz eden bazı başlıkları şu şekilde sıralayabiliriz:

• Kapsamlı Site Yönetiyorsanız: Siteniz eğer e-ticaret, haber ya da blog sitesiyse özellikle 10 bin üzerinde sayfaya sahipse arama motorları tarafından keşfedilmeniz zordur. Bu aşamada tarama bütçesini iyi ayarlamanız gerekecektir.
• Art Arda Sayfa Yüklediyseniz: Web sitenizi yeni oluşturduysanız ya da var olan siteye art arda birden fazla yeni sayfa eklediyseniz önemlidir. Çoklu içerik ya da sayfa oluşturduğunuzda arama botları hangisini tarayacağına karar veremeyebilir.
• Yönlendirmeler Fazlaysa: Her ne kadar farkında olunmasa da yönlendirmeler ve bunların botlar tarafından takip edilmesi de tarama bütçesine dahildir. Çok sayıda yönlendirmeniz varsa tarama bütçenizi iyi yönetmelisiniz.

Tarama Bütçesini Etkileyen Faktörler

Tarama bütçesini etkileyen faktörler en temelde içerik kalitesini içermektedir. Algoritmaları gelişmiş olan arama motorları, her yıl geliştirmiş oldukları algoritmalarla zayıf içerikleri ayırt etmeye, tarama bütçelerini etkili şekilde kullanmaya ve zayıf içerikleri sonuçların dışında tutmaya başlamıştır.

Bundan dolayı da kaliteli, özgün ve güvenli içerikler tarama bütçesinin sağlıklı seviyede tutulmasında önemlidir. Genel çerçevede tarama bütçesini etkileyen faktörler:

• İnternet sitesinin hızı
• Sunucunun yanıt süresi
• Backlink kalite seviyesi
• İç linklemeler
• İnternet sitesinin haritası
• Txt dosyaları
• SEO uyumlu URL varlığı

Tarama Hızı ve Limiti Nedir?

Arama motorları belirli bir tarama hızına ve limitine sahiptir. Burada bahsi geçen kavram; web sitenin ne kadar taramayı destekleyeceği anlamındadır. Hızlar sitenin hata ve yavaşlama ile alakalı olup sunucuyu da ilgilendiren problemlere göre hareket eder. Hatalar görmezden gelindiği takdirde tarama hızları yavaşlatılabilir ve hatta durdurulabilir.
Sitede eğer çok fazla 5xx HTTP durum kodu hatası varsa ya da çok fazla istek söz konusu ise tarama hızı azalacaktır. Eğer tarama hızınızı arttırmak istiyorsanız sunucunuzu hızlandırmanız gerekir. Aynı zamanda iç ve dış linkler ile bağlantı sayınızı çoğaltabilirsiniz. Yönlendirmeleri düzenlemek bir noktada sitenin yükünü azaltacağı için tarama hızınızı da iyileştirecektir.

Web Sitemin Tarama Bütçesi Nedir?

Sahip olduğunuz ya da yönettiğiniz web sitesinin tarama bütçesini mi merak ediyorsunuz? Birkaç adımı izleyerek kısa sürede bulabilirsiniz.

I. Aşama: Google Search Console girişi yapın. Menü > Dizin > Kapsam aşamalarını izleyerek sayfaya ulaşın. Burada dizine eklenenler, hariç kalanlar ya da hatalı olan sayfaları görmeniz mümkün.
II. Aşama: Başka bir sayfada Google Search Console sol menüsünden Ayarlar > Tarama ve Tarama İstatistikleri bölümüne erişin. Burada grafiğin sağ alt kısmında kaç sayfanın tarandığını göreceksiniz.
III. Aşama: İlk aşamada elde edeceğiniz dizine eklenen sayfaların sayısını günlük taranan sayfa sayısına bölün. Böylece sitenizin tarama bütçesini elde edebilirsiniz.

İşlemi yaptığınızda eğer tarama bütçeniz 10’un üstündeyse bir sorun var demektir. Detaylı SEO ve teknik analizler ile tarama bütçenizi doğru yönetmelisiniz. Eğer işlem sonrası 3’ün altında sonuç varsa herhangi bir sorun yaşanmadığı anlamına gelecektir.

Google Botları Websitenizi Nasıl Tarar?

Google botları websitenizi bazı parametrelere göre ziyaret eder. Search Console’da eklediğiniz site haritası ve veri tabanınız, eğer var ise Google News kaydınız üzerinden tarama yollarını gerçekleştirmiş olur. Önceki tarama verilerinden de faydalanan örümcekler genellikle yaptığınız değişiklikleri ve yenilikleri anında işlemek yerine dizine ekler ve bir nevi zamanlayabilir.

Google Botlarını Websiteme Nasıl Çağırırım?

Google botlarının websitenizi ziyaret etmesini ve belirli sayfa veya sayfaları güncellemesini istiyorsanız birkaç farklı yol izleyebilirsiniz. Arama konsoluna girerek eski adıyla “Google gibi getir” işlemi yapabilir ve Google botlarını yeni sayfalarınızdan haberdar edebilirsiniz.

Sürekli güncellenen websitelerinden link alabilir veya sosyal medya kanallarından yüksek hit çekebilirsiniz. Bu işlemlerin hiçbiri yazınızın indexe alınacağının garantisini vermez.

Tarama Bütçesi Nasıl Öğrenilir ve Kontrol Edilir?

Google botlarının sitenizi ne sıklıkla ziyaret ettiğini ve tarama bütçenizin ne durumda olduğunu Search Console’u kullanarak öğrenebilirsiniz. Tarama istekleri, toplam indirme boyutu ve ortalama yanıt süresini görüntüleyebilir ve bu sayede tarama bütçesi optimizasyonu sürecini verimli bir şekilde yönetebilirsiniz. Tarama bütçesini Search Console kullanarak incelemek istiyorsanız şu adımları takip edebilirsiniz;

1. Search Console’a giriş yapalım ve “Ayarlar” kısmına girelim.
2. Tarama başlığı altında “Tarama İstatistikleri“ne tıklayalım.
3. “Raporu Aç” kısmından ilerleyerek son istatistikleri görebiliriz.

Tarama istekleri dökümü kısmında ilerlerseniz daha detaylı bir rapora ulaşacaksınız. Burada hata veren sayfaları tespit edebilecek ve düzeltmek için çalışmalarınıza yön verebileceksiniz.

Tarama Bütçesi Neden Optimize Edilmeli?

Tarama bütçesini optimize etmeyen web siteleri Google botlarının ziyaretleri sonuçlarında hatalar web sitelerinde bulunduğu sürece gerilemeye mahkum olacaktır. Sorunların çözümü yerine artan sorunlar ise farklı cezalara yol açabilir. Bu sebeple web sitesini bir vücut gibi düşünmeli ve aksayan noktalarını tedavi etmek gerekir.

Tüm çalışmalarını sıralama almak için yapan ve her geçen gün güçlenen rakipler karşısında birkaç adım öne geçmek için en küçük detayı dahi düşünmek ve optimize etmek gerekir. Tarama bütçesi nedir? Artık kafamızda bir olgu oluşmaya başlamıştır.

Google’a Geçmeden Önce Yandex’te Tarama Bütçesi Optimizasyonu

Yandex üzerinden kullanıcı çeken veya sıralamalarda tırmanmak isteyen okurlarımız içinde bir kısım ayırmak istedim. Yandex tarama bütçesini farklı şekilde kullanmaktadır. Ayrıca sıralama koşullarından farklı detaylara takılabilir veya Google’da spame düştüğünüz bir kelimede sizi zirveye çıkarabilir.

Yandex raporlarınızı incelemek isterseniz Yandex Webmaster paneline giriş yaparak sitenizi eklemediyseniz eklemelisiniz. Ardından Indexing > Crawl Statistics sekmelerinden ve diğer menülerden incelemelerinizi gerçekleştirebilirsiniz. “Site Quality” kısmında ise tespit edilen hataları görebilirsiniz.

Websitenizi Tarayabileceğiniz Bazı Ücretli ve Ücretsiz Araçlar

Websitelerinizi taramak için onlarca web sitesi olsa da biz sizler için en güvenilir ve en çok kullanılan araçları derlemeyi düşündük. Her birinin birbirinden farklı özellikleri ve kullanım kolaylığına göre tercihte bulunabilir veya birkaç aracı birden kullanabilirsiniz.

• Ahrefs: Ücretsiz olarak sitenizi ekleyebilir ve hataları tarayabilirsiniz.
• Semrush: Ücretsiz olarak ayda sadece 1 kere taramanıza izin verecektir.
• Screaming Frog: Ücretsiz sürümünde en fazla 500 sayfa tarama sınırı vardır.
• Seobility Crawl: Ücretsiz olarak 1000 adet sayfanızı tarayacaktır.
• Moz: 30 Gün ücretsiz kullanım hakkı.
• Deepcrawl: Demo formunu doldurarak deneme talep edebilirsiniz.

Tarama Bütçesi Nasıl Hesaplanır?

Tarama bütçesini hesaplamadan önce Search Console’dan verileri elde etmeli ve ardından dizine alınan toplam sayfa sayısını / günlük taranan ortalama sayfa sayısına bölerek bulabilirsiniz. Ulaştığınız sayı 3’ün altında ise tarama bütçeniz ideal durumdadır. Eğer 5 ve üzeri ise optimize etmeniz gerekmektedir. 10 ve üstü ise bütçenizde ciddi açıklar olduğunu bilmelisiniz.

Tarama Bütçesine Neler Dahildir?

Arama motorlarının tarama bütçesine dahil ettiği unsurlar şunlardır:

• AMP sayfaları,
• M-Dot sayfaları,
• Hreflang,
• CSS,
• Yerleşik içerikler,
• XHR istekleri,
• JavaScript URL’ler.

Kısacası; var olan tüm URL’ler ve istekler (yönlendirme, içerikler vs.) tarama bütçesine dahil edilmiştir.

Tarama Bütçesi Nasıl Optimize Edilir? (Crawl Budget Optimization)

Tarama bütçesi (Crawl Budget) optimize edilmeden önce belirli hataların farkına varmak ve sürekli takibine yapmak gerekir. Bütçe olarak problem yaşamayacak okurlarımıza hataların düzenli tespiti ve kontrolü için Semrush, Ahrefs ve Moz gibi ücretli toolları öneririz. Ahrefs ve Semrush ise ücretsiz sürümlerinde de belirli oranda tarama imkanı sağlamaktadırlar. Tarama bütçesi nedir? Sorusunun ardından tarama bütçesi optmizasyonu için  bazı maddeleri ve önemli optimizasyon adımlarını inceleyelim.

Site Haritası ve Robots.txt Optimizasyonu

Bir websitesinin belki de ilk kontrol edilmesi gereken noktası sitemap.xml ve robots.txt dosyalarıdır. Site haritasının düzenli ve hiyerarşik düzenle Google botlarına doğru teslim edildiğine emin olmalı ve Robots.txt dosyasında örümcekleri doğru yönlendirdiğimize emin olmalıyız.

Sitemap haritasında orphan yani yetim sayfalar bulunmadığına dikkat etmeliyiz. Yetim sayfalar; herhangi bir iç linkleme veya dış link almamış sayfalara verilen addır.

Yazılar, sayfalar, kategoriler ve ürünler gibi pek çok farklı türde sayfası bulunan websitesine sahipseniz güncelleme tarihlerine oranla teslim sürelerini doğru ayarlamalısınız. Eğer WordPress kullanıcısı iseniz Rank math, Yoast SEO gibi eklentiler ile bunları kolayca ayarlamanız mümkündür. Böylece tarama bütçesi optimizasyonunu belirli ölçüde gerçekleştirebilirsiniz.

Robots.txt dosyası ise Google botlarını kapıda karşılayan bekçiler gibidir. Websitesine uğrayan Google botlarına hangi sayfaları ziyaret edip indexleyeceğini ve devamında takip edeceğini söylerken hangi sayfalardan uzak durması gerektiğini belirttiğimiz kısımdır.

Doğru Sunucu Seçimi

Bazı kullanıcılarının tarama bütçesi optimizasyonu yaparken dikkate almadığı veya farkına varmadığı bir hususta sunucu seçimidir. Paylaşımlı sunucular, ağır ve yavaş çalışan sunucular, yanlış php sürümleri gibi pek çok hata sitenizi yavaşlatır. Karşılaştığımız bazı durumlarda ise sunucu kayıpları nedeniyle site anlık erişime kapanır ve bunu kullanıcı farketmese de Google botları farkedebilir.

Sunucu seçimi yaparken maliyetten kaçmamalı ve hızlı güvenilir bir altyapı ile yola devam etmek gerekmektedir. Site hızını olumsuz etkileyen sunucular tarama bütçenizi arttıracaktır.

404 ve 5XX Sayfalarını Optimize Edin!

Google botlarının belki de en sevmediği ve tarama bütçesini arttıran detaylardan biriside 400 ve 500’lü sayfalardır.  Silinen veya çalışmayan URL’ler, görseller ve dış linkler sitenize ciddi zararlar verecek ve tarama bütçenizi arttıracaktır. Bu durumun önüne geçmek için Screaming Frog, Deepcrawl, Ahrefs gibi toollar ile bu sayfaları tespit edip 301 yönlendirme yaparak veya mevcut sorunu optimize ederek tarama bütçenizi düşürebilirsiniz.

Sunucu veya altyapı kaynaklı 500’lü hataları ise sıklıkla takip ederek çözüme kavuşturmalısınız.

Doğru Noindex Kullanımı İle Tarama Bütçesini Düşürme

Çoğu websitesinde kullanışsız veya çok nadir kullanılan gereksiz sayfalar mevcuttur. Bu sayfaların tespitini yaparak noindex olarak işaretlemek çok değerlidir. Örneğin bir e-ticaret sitesinde arama sorgularını ve filtrelerini noindex yapabilirsiniz. Gizlilik politikası, İade koşulları gibi sadece kullanıcıya dönük sayfaları, sepet aşamaları gibi özelleştirilmiş sayfaları da indexe kapatmayı düşünebilirsiniz.

CSS ve Javascript Boyutu ve Cache Kullanımı

Frontend tasarımların gelişmesi ve farklı scriptler ile görsel zenginliğin artması CSS ve JS dosyalarının sayısını ve boyutlarını oldukça yukarıya çekmiştir. Uzun süreler açılmayan sayfalar, boyanması geciken veya uzun süren sayfalar, açılışı bloklayan script kodları tarama bütçesini olumsuz etkileyen hususlardandır.

Doğru CSS, JS ve HTML sıkıştırmalarıyla bu problemin önüne geçmeli ve hızlı açılan bir siteye sahip olmalısınız.

Resim Boyutları ve Lazyload Kullanımı

Tarama süresini oldukça olumsuz etkileyen bu maddeyi kesinlikle dikkatle okumalısınız. Günümüzde websiteleri ve sosyal medya platformları görsel, video ve gifler üzerine kurulmaktadır. Yazılar yerine görsellerden hoşlanan kullanıcı için oluşturulan fazla sayıda medya dosyası site hızınızı olumsuz etkilemektedir.

Görsel Optimizasyon ve Lazy Load

Sitenizde kullandığınız görsellerin boyutlarını küçültmeli, webp versiyonlar kullanmalı ve mümkünse CDN teknolojisinden faydalanmalısınız. Cache yazılımınızla Lazy Load teknolojisini kullanarak önce yazıların sonrada görsellerin yavaşça yüklenmesini sağlayarak sayfa hızlarını arttırabilirsiniz.

Video Optimizasyonu

İçeriğinizde veya sayfalarınızda kullandığınız video ögelerini cache sistemine adapte edip hızlı açılmasını sağlamalısınız. WP Rocket bu konuda iyi bir eklentidir.

Mobil Uyumluluk ve Sayfa Hızları

Google yayınladığı güncellemelerle her geçen gün mobil kullanımı ön planda tutuyor ve bu detaya çok önem veriyor. Website girişlerinin büyük çoğunluğunu artık mobil kullanıcılar domine ediyor. Bu sebepten dolayı bazı teknolojileri kullanmak ve mobil uyumlu bir websiteye sahip olmak tercihten öte mecburiyet haline gelmiştir. Ekstra teknolojileri kullanarak da sitenize değer katabilirsiniz. Bu teknolojilerden bazılarını listeleyelim;

• Amp ( Hızlandırılmış Mobil Sayfalar)
• Pwa (Progressive Web Apps)
• Mobil Uyumlu Template ve Scriptler

Sitenizin mobil uyumlu olup olmadığını Google mobil uyumluluk testi sayfasından ölçebilirsiniz.

Tarama Bütçesi Ne Zaman Sorun Olur?

Tarama bütçesi ne zaman sorun olur, konuyla ilgili kişilerin merakını oluşturmaktadır. Tarama bütçesi, tarama talebi sayısının azalmasıyla her zaman bir sorun oluşturmamaktadır. Paylaşımların sıklığı, içeriklerin popülerliği, içeriğin güncelliğini yitirmesi gibi faktörler bir internet sitesinin teknik manada sorunsuz olan tarama bütçesini, arama motoru tarama isteğinin azalmasıyla etkileyebilmektedir.

Crawl Budget ve SEO İlişkisi

Crawl Budget veya diğer deyişle tarama bütçesi SEO çalışmalarıyla bağlantılı durumdadır. Arama motorunda bir sayfa indekslenmezse, sıralama alması zor olmaktadır. Bundan dolayı da sayfa sayısı, sitenin tarama bütçesini aşıyorsa dizine alınmamış sayfalara sahip olunacaktır.

Buna ek olarak mevcut internet sitelerinin büyük bir kısmının tarama bütçesi hakkında endişe duymasına gerek yoktur. Çünkü arama motoru içerisinde sayfaları bulma ve dizine alma konusunda bu siteler iyi bir algoritmaya sahiptir.

Crawl Budget ve SEO ilişkisi burada önemlidir. Tarama bütçesi optimizasyonu, SEO çalışmaları dahilinde arama motoru botlarının internet sitesinde yer alan önemsiz sayfalar aksine önemli sayfaların taranması ve sıralaması alması için gereklidir.

İç Link İnşaası ve Dikkat Edilmesi Gerekenler

Web sitenizde yayınladığınız sayfalarınıza bıraktığını iç linklemeleri Google botları değerli ve güçlü sinyaller olarak algılarken dizine ekleme sırasına alır ve böylece daha hızlı bir indexlenme süreci oluşur. Güçlenmiş sayfalar birbirine bağlandığından uzun vadede olumlu katkıları defaatle artacaktır.

Kopya İçerik ve Benzer Sayfalar

Bu maddeye değinirken şunu belirtmeliyim ki sadece crawl budget optimization (tarama bütçesi optimizasyonu) süreci için değil genel olarak hiçbir websitesinin yapmaması gereken önemli SEO hatalarından birinin kopya içerik olduğunu belirtmek isterim. Web siteniz de kopya içerikler ve benzer içerikler mevcut ise kesinlikle özgünleştirmeli ve benzer sayfaları kaldırmalısınız.

Fazla Optimize Edilmiş – Spam veya Yetersiz Sayfalar

Öncelikle yetersiz – eksik sayfalara değinelim. Bazı içerik tiplerinde 200 kelime yazmanız yeterli iken detaylı ve doyurucu bilgiye ihtiyaç duyulan içerik tiplerinde gereken kelime oranına erişmeniz sizin için daha iyi olacaktır. Örneğin; “Diş Ağrısına Ne İyi Gelir” başlıklı bir yazıya “Alkol iyi gelir” yazıp bırakmak pek doğru bir şey olmayacaktır. Bu ağrının sebepleri ve ağrı nedenine göre mantıklı bir önermede bulunmalısınız.

Spam sayfalarda ise web site sahipleri veya SEO uzmanları bazen optimizasyonun ve anahtar kelime kullanımının dozunu kaçırmakta ve yazıyı spam bir yazıya dönüştürmektedirler. Tarama bütçesi optimizasyonu gerçekleştirirken spam sayfalarınızı da optimize etmeniz yararınıza olacaktır. Sayfa ve site kalitenizi yükseltecektir.

Backlink İnşaası ve Hataları

Tarama hızınızı arttırmak için kaliteli dış linklere de ihtiyaç duyabilirsiniz. Bu kısımda bazı noktalar ince bir ip üzerinde yürümeye benzer. Sebebi ise fayda ve zarar incelemesinin iyi yapılması veya yapılamamasıdır. Doğru inşa edilmiş dış link çalışması faydalı olurken, yapılan bir hata veya spam işleri tamamen tersine çevirebilir. Doğal ve sosyal linklere önem vermenizi ve backlink alırken değere önem vermelisiniz.

Okumayı Değil de İzlemeyi Sevenlere “Crawl Budget” Hakkında Güzel Bir Söyleşi Önerebilirim!

Peki ben bu Zararlı linkleri nasıl reddederim? Diye düşünüyor ve nasıl ilerleyeceğinizi bilmiyorsanız yazıya devam etmenizi öneririm.

Sonraki yazılarda görüşmek üzere hoşçakalın 🙂