Tarama Bütçesi Nedir ve Bunun İçin Nasıl Optimize Edilir?

Tarama bütçesi, arama motoru botlarının nasıl çalıştığını ilk öğrendiğinizde yabancı bir kavram gibi görünebilir. En kolay SEO kavramı olmasa da, göründüklerinden daha az karmaşıktırlar. Tarama bütçesinin ne olduğunu ve arama motoru taramasının nasıl çalıştığını anlamaya başladığınızda, web sitenizi taranabilirlik için optimize etmeye başlayabilirsiniz. Bu süreç, sitenizin Google'ın arama sonuçlarında en yüksek sıralama potansiyeline ulaşmasına yardımcı olacaktır.

Tarama Bütçesi Nedir?

Tarama bütçesi, arama motoru botlarının bir indeksleme oturumunda indeksleyebildiği bir web sitesindeki URL sayısıdır. Bir tarama oturumunun "bütçesi", her bir sitenin boyutuna, trafik ölçümlerine ve sayfa yükleme hızına bağlı olarak web sitesinden web sitesine farklılık gösterir.

Buraya kadar geldiyseniz ve SEO terimleri size yabancıysa , tanımlara daha aşina olmak için SEO sözlüğümüzü kullanın .

Bir Web Sitesinin Tarama Bütçesini Hangi Faktörler Etkiler?

Google, internetteki her web sitesine aynı miktarda tarama veya tarama süresi ayırmaz. Web tarayıcıları ayrıca çeşitli faktörlere bağlı olarak hangi sayfaları ve ne sıklıkta tarayacaklarını da belirler. Her sitenin ne sıklıkta ve ne kadar süreyle taranması gerektiğini aşağıdakilere göre belirlerler:

• Popülarite: Bir site veya sayfa ne kadar çok ziyaret edilirse güncellemeler için o kadar sık ​​analiz edilmelidir. Ayrıca, daha popüler sayfalar daha hızlı bir şekilde daha fazla gelen bağlantı toplayacaktır.
• Boyut: Büyük web siteleri ve daha yoğun veri içeren öğeler içeren sayfaların taranması daha uzun sürer.
• Sağlık/Sorunlar: Bir web gezgini dahili bağlantılar aracılığıyla bir çıkmaza girdiğinde, yeni bir başlangıç ​​noktası bulması zaman alır veya gezinmeyi bırakır. 404 hataları, yönlendirmeler ve yavaş yükleme süreleri, web tarayıcılarını yavaşlatır ve engeller.

Tarama Bütçeniz SEO'yu Nasıl Etkiler?

Webcrawler indeksleme işlemi , aramayı mümkün kılar. İçeriğiniz bulunamazsa ve ardından Google'ın web tarayıcıları tarafından dizine eklenemezse, web sayfalarınız ve web siteniz arama yapanlar tarafından keşfedilemez. Bu, sitenizin çok fazla arama trafiğini kaçırmasına neden olur.

Google Web Sitelerini Neden Tarar?

Googlebot'lar , sayfanın ve genel olarak web sitesinin ne hakkında olduğunu belirlemek için bir web sitesinin sayfalarını sistematik olarak inceler. Web tarayıcıları, içerikleriyle birlikte bir URL önbelleği oluşturmak için bu web sitesindeki verileri sayfa sayfa işler, kategorilere ayırır ve düzenler; böylece Google, bir arama sorgusuna yanıt olarak hangi arama sonuçlarının görüneceğini belirleyebilir.

Ek olarak, Google, her bir arama sonucunun hiyerarşik arama sonuçları listesinde nerede görünmesi gerektiğini belirlemek için hangi arama sonuçlarının arama sorgusuna en uygun olduğunu belirlemek için bu bilgileri kullanır .

Tarama Sırasında Ne Olur?

Google, bir Googlebot'un bir web sitesini işlemesi için belirli bir süre ayırır. Bu sınırlama nedeniyle, bot büyük olasılıkla tek bir tarama oturumu sırasında tüm siteyi taramaz. Bunun yerine, robots.txt dosyasına ve diğer faktörlere (bir sayfanın popülaritesi gibi) dayalı olarak sitenin tüm sayfalarında çalışacaktır.

Tarama oturumu sırasında bir Googlebot, işlediği her sayfanın içeriğini anlamak için sistematik bir yaklaşım kullanır.

Bu, aşağıdakiler gibi belirli özniteliklerin dizine eklenmesini içerir:

1. Meta etiketler ve anlamlarını belirlemek için NLP kullanımı
2. Bağlantılar ve bağlantı metni
3. Resim aramaları ve video aramaları için zengin medya dosyaları
4. Şema işaretlemesi
5. HTML işaretlemesi

Web gezgini, sayfadaki içeriğin bir standartın kopyası olup olmadığını belirlemek için bir kontrol de yapacaktır. Böyleyse, Google URL'yi düşük öncelikli bir taramaya taşır, böylece sayfayı eskisi kadar sık ​​taramakla vakit kaybetmez.

Tarama Hızı ve Tarama Talebi nedir?

Google'ın web tarayıcıları, gerçekleştirdikleri her taramaya belirli bir süre atar. Bir web sitesi sahibi olarak, bu süre üzerinde hiçbir kontrolünüz yoktur. Ancak, sitenizdeki tek tek sayfaları ne kadar hızlı tarayacaklarını değiştirebilirsiniz. Bu sayı, tarama hızınız olarak adlandırılır .

Tarama talebi , Google'ın sitenizi ne sıklıkta taradığıdır. Bu sıklık, sitenizin internet kullanıcılarının talebine ve site içeriğinin aramada ne sıklıkta güncellenmesi gerektiğine bağlıdır. Bir günlük dosyası analizi kullanarak Google'ın sitenizi ne sıklıkta taradığını keşfedebilirsiniz (aşağıdaki #2'ye bakın).

Sitemin Tarama Bütçesini Nasıl Belirleyebilirim?

Google, sitenizi kaç kez ve ne kadar süreyle tarayacaklarını sınırladığı için, tarama bütçenizin ne olduğunun farkında olmak istersiniz. Ancak Google, site sahiplerine bu verileri sağlamaz; özellikle de bütçeniz, yeni içeriğin SERP'lere zamanında gelmeyeceği kadar darsa. Bu, size para kazandırabilecek ürün sayfaları gibi önemli içerik ve yeni sayfalar için felaket olabilir.

Sitenizin tarama bütçesi sınırlamalarıyla karşılaşıp karşılaşmadığını anlamak (veya sitenizin A-OK olduğunu doğrulamak) için şunları yapmak isteyeceksiniz: Sitenizde kaç tane URL olduğuna dair bir envanter alın. Yoast kullanıyorsanız, toplamınız site haritası URL'nizin üst kısmında listelenir .

Bu sayıya sahip olduğunuzda, Google'ın sitenizde günde kaç sayfa taradığını belirlemek için Google Search Console'un "Ayarlar" > "Tarama istatistikleri" bölümünü kullanın.

Tarama Bütçenizi Nasıl Optimize Edebilirsiniz?

Sitenizin tarama bütçesi için çok büyük hale geldiği zaman, tarama bütçesi optimizasyonuna dalmanız gerekir. Google'a sitenizi daha sık veya daha uzun süre taramasını söyleyemeyeceğiniz için, neyi kontrol edebileceğinize odaklanmalısınız.

Tarama bütçesi optimizasyonu, çok yönlü bir yaklaşım ve Google'ın en iyi uygulamalarının anlaşılmasını gerektirir . Tarama hızınızdan en iyi şekilde yararlanmak söz konusu olduğunda nereden başlamalısınız? Bu kapsamlı liste hiyerarşik sırada yazılmıştır, bu nedenle en baştan başlayın.

1. Sitenizin Tarama Hızı Limitini Artırmayı Düşünün

Google, istekleri sitenizdeki birden çok sayfaya aynı anda gönderir. Bununla birlikte, Google nazik olmaya çalışır ve sitenizin ziyaretçileri için daha yavaş yükleme süresine neden olacak şekilde sunucunuzu meşgul etmemeye çalışır. Sitenizin birdenbire yavaşladığını fark ederseniz, sorun bu olabilir.

Google, kullanıcılarınızın deneyimini etkilemekle mücadele etmek için tarama hızınızı azaltmanıza izin verir. Bunu yapmak, Google'ın aynı anda dizine ekleyebileceği sayfa sayısını sınırlayacaktır.

İlginç bir şekilde, yine de Google, tarama hızı sınırınızı yükseltmenize izin verir; bunun etkisi, bir kerede daha fazla sayfa çekebilmeleri ve aynı anda daha fazla URL'nin taranmasıyla sonuçlanmasıdır. Bununla birlikte, tüm raporlar Google'ın tarama hızı sınırı artışına yanıt vermekte yavaş olduğunu gösteriyor ve bu, Google'ın aynı anda daha fazla siteyi tarayacağını garanti etmiyor.

Tarama Hızı Sınırınızı Nasıl Artırırsınız:

1. Search Console'da "Ayarlar"a gidin.
2. Oradan, tarama hızınızın optimal olup olmadığını görüntüleyebilirsiniz.
3. Ardından, sınırı 90 gün boyunca daha hızlı bir tarama hızına yükseltebilirsiniz.

2. Bir Günlük Dosyası Analizi Gerçekleştirin

Günlük dosyası analizi, sunucudan sunucuya gönderilen her isteği yansıtan bir rapordur. Bu rapor size Googlebot'ların sitenizde tam olarak ne yaptığını söyleyecektir. Bu işlem genellikle teknik SEO'lar tarafından gerçekleştirilirken, bir tane edinmek için sunucu yöneticinizle görüşebilirsiniz.

Günlük Dosyası Analizinizi veya sunucu günlük dosyanızı kullanarak şunları öğreneceksiniz:

• Google sitenizi ne sıklıkta tarar?
• En çok hangi sayfalar taranır?
• Hangi sayfalarda yanıt vermeyen veya eksik sunucu kodu var?

Bu bilgiye sahip olduğunuzda, bunu #3'ten #7'ye kadar gerçekleştirmek için kullanabilirsiniz.

3. XML Site Haritanızı ve Robots.txt Dosyanızı Güncel Tutun

Günlük Dosyanız, Google'ın SERP'lerde görünmesini istemediğiniz sayfaları taramak için çok fazla zaman harcadığını gösteriyorsa, Google tarayıcılarının bu sayfaları atlamasını isteyebilirsiniz. Bu, daha önemli sayfalar için tarama bütçenizin bir kısmını serbest bırakır.

Site haritanız (Google Arama Konsolu'ndan veya SearchAtlas'tan edinebilirsiniz ), Googlebot'lara, arama sonuçlarında görünebilmeleri için Google'ın dizine eklemesini istediğiniz sitenizdeki tüm sayfaların bir listesini verir. Site haritanızı, arama motorlarının bulmasını istediğiniz tüm web sayfalarıyla güncel tutmak ve bulmalarını istemediğiniz sayfaları atlamak, web tarayıcılarının sitenizde geçirdikleri zamanı en üst düzeye çıkarabilir.

Robots.txt dosyanız, arama motoru tarayıcılarına hangi sayfaları taramalarını istediğinizi ve istemediğinizi söyler. İyi açılış sayfaları oluşturmayan sayfalarınız veya kapılı sayfalarınız varsa, robots.txt dosyanızdaki URL'leri için noindex etiketini kullanmalısınız. Googlebot'lar, noindex etiketine sahip herhangi bir web sayfasını muhtemelen atlayacaktır.

4. Yönlendirmeleri ve Yönlendirme Zincirlerini Azaltın

Gereksiz sayfaları arama motoru taramalarının dışında tutarak tarama bütçesini boşaltmanın yanı sıra, yönlendirmeleri azaltarak veya ortadan kaldırarak taramaları en üst düzeye çıkarabilirsiniz. Bunlar, 3xx durum koduyla sonuçlanan herhangi bir URL olacaktır.

Sunucunun yönlendirmeyle yanıt vermesi ve ardından yeni sayfayı alması gerektiğinden, yönlendirilen URL'lerin bir Googlebot tarafından alınması daha uzun sürer. Bir yönlendirme yalnızca birkaç milisaniye sürse de, bunlar toplanabilir. Bu da sitenizi taramanın genel olarak daha uzun sürmesine neden olabilir. Bu süre, bir Googlebot bir URL yönlendirme zinciriyle karşılaştığında katlanarak artar.

Yönlendirmeleri ve yeniden yönlendirme zincirlerini azaltmak için içerik oluşturma stratejinize dikkat edin ve sümüklü böcekleriniz için metni dikkatli bir şekilde seçin.

5. Kırık Bağlantıları Düzeltin

Google'ın genellikle bir siteyi keşfetme şekli, dahili bağlantı yapınız aracılığıyla gezinmektir. Sayfalarınız arasında ilerlerken, bir bağlantının var olmayan bir sayfaya yönlendirilip yönlendirilmediğini not eder (buna genellikle soft 404 hatası denir). Daha sonra söz konusu sayfayı indekslemek için zaman kaybetmek istemeyerek yoluna devam edecektir.

Kullanıcıyı veya Googlebot'u gerçek bir sayfaya yönlendirmek için bu sayfalara verilen bağlantıların güncellenmesi gerekir. VEYA (inanması zor olsa da) Googlebot, sayfa gerçekten varken bir sayfayı yanlış bir şekilde 4xx veya 404 hatası olarak tanımlamış olabilir. Bu olduğunda, URL'de herhangi bir yazım hatası olmadığından emin olun ve ardından Google Search Console hesabınız aracılığıyla söz konusu URL için bir tarama isteği gönderin.

Bu tarama hatalarıyla güncel kalmak için Google Search Console hesabınızın Dizin > Kapsam raporunu kullanabilirsiniz. Veya web geliştiricinize iletmek üzere site hata raporunuzu bulmak için SearchAtlas'ın Site Denetim aracını kullanın.

Not: Yeni URL'ler, Günlük Dosyası Analizinizde hemen görünmeyebilir. Tarama isteğinde bulunmadan önce bunları bulması için Google'a biraz zaman tanıyın.

6. Sayfa Yükleme Hızlarını İyileştirme Çalışması

Arama motoru botları bir sitede hızlı bir şekilde hareket edebilir. Ancak, sitenizin hızı eşit değilse, tarama bütçenizde gerçekten büyük bir yük olabilir. Sitenizin yükleme süresinin arama görünürlüğünüzü olumsuz yönde etkileyip etkilemediğini belirlemek için Günlük Dosyası Analizinizi, SearchAtlas'ı veya PageSpeedInsights'ı kullanın.

Sitenizin yanıt süresini iyileştirmek için dinamik URL'ler kullanın ve Google'ın Önemli Web Verileri en iyi uygulamalarını izleyin . Bu, ekranın üst kısmındaki medya için görüntü optimizasyonunu içerebilir.

Site hızı sorunu sunucu tarafındaysa, aşağıdakiler gibi diğer sunucu kaynaklarına yatırım yapmak isteyebilirsiniz:

• Özel bir sunucu (özellikle büyük siteler için)
• Daha yeni sunucu donanımına yükseltme
• Artan RAM

Bu iyileştirmeler aynı zamanda kullanıcı deneyiminizi de artıracak ve bu da sitenizin Google aramada daha iyi performans göstermesine yardımcı olabilir, çünkü site hızı PageRank için bir sinyaldir.

7. Kurallı Etiketleri Kullanmayı Unutmayın

Yinelenen içerik, en azından yinelenen içeriğin bir kaynak sayfası olduğunu kabul etmediğinizde, Google tarafından hoş karşılanmaz. Neden? Niye? Googlebot, aksi söylenmedikçe, kaçınılmaz olmadıkça her sayfayı tarar. Ancak, yinelenen bir sayfaya veya aşina olduğu bir şeyin kopyasına (sizin sayfanızda veya site dışında) rastladığında, o sayfayı taramayı durduracaktır. Bu zaman kazandırırken, standart URL'yi tanımlayan bir standart etiket kullanarak tarayıcıya daha fazla zaman kazandırmalısınız.

Standartlar , Googlebot'a bu içeriği dizine eklemek için tarama sürenizi kullanmamasını söyler. Bu, arama motoru botuna diğer sayfalarınızı incelemesi için daha fazla zaman verir.

8. Dahili Bağlantı Yapınıza Odaklanın

Sitenizde iyi yapılandırılmış bir bağlantı uygulamasına sahip olmak, bir Google taramasının verimliliğini artırabilir. Dahili bağlantılar Google'a sitenizdeki hangi sayfaların en önemli olduğunu söyler ve bu bağlantılar tarayıcıların sayfaları daha kolay bulmasına yardımcı olur.

En iyi bağlantı yapıları, kullanıcıları ve Googlebot'ları web sitenizdeki içeriğe bağlar. Her zaman alakalı bağlantı metni kullanın ve bağlantılarınızı içeriğinizin her yerine doğal bir şekilde yerleştirin.

E-ticaret siteleri için Google , taramaları en üst düzeye çıkarmak için çok yönlü gezinme seçeneklerine yönelik en iyi uygulamalara sahiptir . Yönlü gezinme, site kullanıcılarının ürünleri özelliklerine göre filtrelemesine olanak tanıyarak alışverişi daha iyi bir deneyim haline getirir. Bu güncelleme, aşırı URL taramalarına ek olarak kanonik karışıklığın ve yinelenen sorunların önlenmesine yardımcı olur.

9. Gereksiz İçeriği Budayın

Googlebotlar, bir siteyi her taradıklarında yalnızca çok hızlı hareket edebilir ve çok sayıda sayfayı dizine ekleyebilir. Trafik almayan veya güncelliğini yitirmiş veya kalitesiz içeriğe sahip çok sayıda sayfanız varsa, onları kesin! Budama işlemi , sitenizin üzerinde ağırlık oluşturabilecek fazla bagajı kesmenize olanak tanır.

Sitenizde aşırı sayfa olması, sayfaları yok sayarken Googlebot'ları önemsiz sayfalara yönlendirebilir.

Herhangi bir bağlantıyı bu sayfalara yönlendirmeyi unutmayın, böylece tarama hatalarıyla karşılaşmazsınız.

10. Daha Fazla Geri Bağlantı Toplayın

Googlebot'lar sitenize gelip sayfaları dahili bağlantılara dayalı olarak dizine eklemeye başladıkları gibi, dizin oluşturma sürecinde harici bağlantıları da kullanırlar. Diğer siteler sizin sitenize bağlantı verirse, Googlebot sitenize gider ve bağlantılı içeriği daha iyi anlamak için sayfaları dizine ekler.

Ek olarak, geri bağlantılar sitenize biraz daha popülerlik ve yenilik sağlar, Google bunu sitenizin ne sıklıkta dizine eklenmesi gerektiğini belirlemek için kullanır.

11. Yetim Sayfaları Ortadan Kaldırın

Google tarayıcısı, dahili bağlantılar aracılığıyla sayfadan sayfaya sıçradığı için, bağlantı verilen sayfaları zahmetsizce bulabilir. Ancak, sitenizde herhangi bir yere bağlantısı olmayan sayfalar genellikle Google tarafından fark edilmez. Bunlara “artık sayfalar” denir.

Yetim sayfa ne zaman uygun olur? Çok özel bir amacı veya hedef kitlesi olan bir açılış sayfasıysa. Örneğin, Miami'de yaşayan golfçülere yalnızca kendileri için geçerli olan bir açılış sayfası içeren bir e-posta gönderirseniz, başka bir sayfadan bağlantı vermek istemeyebilirsiniz.

Tarama Bütçesi Optimizasyonu İçin En İyi Araçlar

Tarama bütçenizi optimize etmek söz konusu olduğunda Search Console ve Google Analytics oldukça kullanışlı olabilir. Search Console, sayfaları dizine eklemesi ve tarama istatistiklerinizi izlemesi için bir tarayıcı istemenize olanak tanır. Google Analytics, dahili bağlantı yolculuğunuzu izlemenize yardımcı olur.

SearchAtlas gibi diğer SEO araçları, Site Denetim araçları aracılığıyla tarama sorunlarını kolayca bulmanızı sağlar. Tek bir raporla sitenizin şunları görebilirsiniz:

• Dizinlenebilirlik Tarama Raporu
• İndeks Derinliği
• sayfa hızı
• Yinelenen İçerik
• XML Site Haritası
• Bağlantılar

Tarama Bütçenizi Optimize Edin ve En İyi Performansı Gösteren Arama Motoru Olun

Arama motorlarının sitenizi ne sıklıkta veya ne kadar süreyle dizine eklediğini kontrol edemeseniz de, arama motoru taramalarınızın her birinden en iyi şekilde yararlanmak için sitenizi optimize edebilirsiniz. Sunucu günlüklerinizle başlayın ve Search Console'daki tarama raporunuza daha yakından bakın. Ardından tarama hatalarını, bağlantı yapınızı ve sayfa hızı sorunlarını düzeltmeye başlayın.

GSC tarama etkinliğiniz üzerinde çalışırken, bağlantı oluşturma ve kaliteli içerik ekleme dahil olmak üzere SEO stratejinizin geri kalanına odaklanın . Zamanla, açılış sayfalarınızın arama motoru sonuç sayfalarında yükseldiğini göreceksiniz.