Noindex Nofollow ve Disallow: Tarayıcı Yönergelerini Ara
Yayınlanan: 2022-12-01Arama motorlarının sitenizdeki bilgileri arama sonuçları olarak nasıl keşfettiğini, sakladığını ve sunduğunu belirlemek için kullanabileceğiniz üç yönerge (komut) vardır:
- NoIndex: Sayfamı arama sonuçlarına ekleme.
- NoFollow: Bu sayfadaki bağlantılara bakmayın.
- İzin Verme: Bu sayfaya hiç bakma.
Bu yönergeler, site sayfalarınızdan hangilerinin arama motorları tarafından taranabileceğini ve aramada görünebileceğini kontrol etmenizi sağlar.
İndeks Yok ne anlama geliyor?
noindex yönergesi, googlebot gibi arama tarayıcılarına bir web sayfasını arama sonuçlarına dahil etmemelerini söyler.
Bir Sayfa NoIndex'ini Nasıl İşaretlersiniz?
Bir noindex yönergesi yayınlamanın iki yolu vardır:
- Sayfanın HTML koduna bir noindex meta etiketi ekleyin
- HTTP isteğinde bir noindex başlığı döndür
Bir sayfa için "dizin yok" meta etiketini veya bir HTTP yanıt başlığı olarak kullanarak, esasen sayfayı aramadan gizlersiniz.
Noindex yönergesi, yalnızca belirli arama motorlarını engellemek için de kullanılabilir. Örneğin, Google'ın bir sayfayı dizine eklemesini engelleyebilir, ancak yine de Bing'e izin verebilirsiniz:
Örnek: Çoğu Arama Motorunu Engelleme*
<meta name=”robots” content=”noindex”>
Örnek: Yalnızca Google'ı Engelleme
<meta name=”googlebot” content=”noindex”>
Lütfen unutmayın: Google, Eylül 2019 itibarıyla artık robots.txt dosyasındaki noindex yönergelerine uymuyor . Noindex artık HTML meta etiketi veya HTTP yanıt başlığı aracılığıyla YAYINLANMALIDIR. Daha ileri düzey kullanıcılar için izin vermeme , tüm kullanım durumları için olmasa da şimdilik işe yarıyor.
noindex ve nofollow arasındaki fark nedir?
Bu, içeriği depolamak ile içeriği keşfetmek arasındaki farktır:
noindex , sayfa düzeyinde uygulanır ve bir arama motoru tarayıcısına, arama sonuçlarında bir sayfayı dizine eklememesini ve sunmamasını söyler.
nofollow , sayfa veya bağlantı düzeyinde uygulanır ve bir arama motoru tarayıcısına bağlantıları takip etmemesini (keşfetmemesini) söyler.
Esasen noindex etiketi, arama dizininden bir sayfayı kaldırır ve nofollow özelliği, arama motorunun bağlantı grafiğinden bir bağlantıyı kaldırır.
Sayfa Özniteliği Olarak NoFollow
Nofollow'u sayfa düzeyinde kullanmak, tarayıcıların ek içerik keşfetmek için o sayfadaki bağlantılardan hiçbirini takip etmeyeceği ve tarayıcıların bağlantıları hedef siteler için sıralama sinyali olarak kullanmayacağı anlamına gelir.
<meta name=”robots” content=”nofollow”>
Bağlantı Özniteliği Olarak NoFollow
Nofollow'u bağlantı seviyesinde kullanmak, tarayıcıların reklama özel bağlantıyı keşfetmesini ve bu bağlantının bir sıralama sinyali olarak kullanılmasını engeller.
Nofollow yönergesi, a href etiketi içindeki bir rel niteliği kullanılarak bağlantı düzeyinde uygulanır:
<a href=”https://domain.com” rel=”nofollow”>
Google'a özel olarak, nofollow link özelliğini kullanmak, sitenizin PageRank'i hedef URL'lere geçirmesini engelleyecektir.
Neden Bir Sayfayı NoFollow Olarak İşaretlemelisiniz?
Kullanım durumlarının çoğu için, bir sayfanın tamamını nofollow olarak işaretlememelisiniz - tek tek bağlantıları nofollow olarak işaretlemek yeterli olacaktır.
Google'ın sayfadaki bağlantıları görmesini istemiyorsanız veya sayfadaki bağlantıların sitenize zarar verebileceğini düşünüyorsanız, tüm sayfayı nofollow olarak işaretlersiniz.
Çoğu durumda, sayfa düzeyinde nofollow direktifleri, bir sayfada yayınlanan içerik üzerinde kontrolünüz olmadığında kullanılır Bazı üst düzey yayıncılar, yazarlarını içeriklerine sponsorlu bağlantılar yerleştirmekten caydırmak için sayfalarına nofollow direktifini kapsamlı bir şekilde uyguluyorlar.
NoIndex Sayfalarını Nasıl Kullanırım?
Kullanıcılara değer sağlama olasılığı düşük olan ve arama sonuçları olarak görünmemesi gereken sayfaları noindex olarak işaretleyin. Örneğin, sayfalandırma için var olan sayfalarda zamanla aynı içeriğin görüntülenmesi pek olası değildir.
Domain.com/category/resultspage=2'nin bir kullanıcıya domain.com/category/resultspage=1'den daha iyi sonuçlar göstermesi olası değildir ve iki sayfa, aramada yalnızca birbiriyle rekabet eder. Tek amacı sayfalandırma olan sayfaları noindex yapmak en iyisidir.
İndeksleme yapmayı düşünmeniz gereken sayfa türleri şunlardır:
- Sayfalandırma için kullanılan sayfalar
- Dahili arama sayfaları
- Reklam İçin Optimize Edilmiş Açılış sayfaları
- Örn: Yalnızca bir satış konuşması ve kayıt formu görüntüler, ana gezinti yoktur
- Örn: Aynı içeriğin yinelenen varyasyonları, yalnızca reklamlar için kullanılır
- Arşivlenmiş yazar sayfaları
- Ödeme akışlarındaki sayfalar
- Onay Sayfaları
- Örn: Teşekkür sayfaları
- Örn: Tam sayfaları sipariş edin
- Örn: Başarı! Sayfalar
- Sitenizle alakalı olmayan, eklenti tarafından oluşturulmuş bazı sayfalar (ör. bir ticaret eklentisi kullanıyorsanız ancak normal ürün sayfalarını kullanmıyorsanız)
- Yönetici sayfaları ve yönetici oturum açma sayfaları
Bir Sayfayı Noindex ve Nofollow Olarak İşaretleme
Hem noindex hem de nofollow olarak işaretlenmiş bir sayfa, tarayıcının o sayfayı dizine eklemesini ve sayfadaki bağlantıları keşfetmesini engeller.
Temel olarak, aşağıdaki resim, noindex ve nofollow yönergelerini nasıl kullandığınıza bağlı olarak bir arama motorunun bir web sayfasında ne göreceğini gösterir:
Halihazırda İndekslenmiş Bir Sayfayı NoIndex Olarak İşaretleme
Bir arama motoru zaten bir sayfayı dizine eklediyse ve siz onu noindex olarak işaretlerseniz, sayfa bir dahaki sefere tarandığında arama sonuçlarından kaldırılır Bir sayfayı dizinden kaldırmaya yönelik bu yöntemin işe yaraması için, robots.txt dosyanızla tarayıcıyı engellememeniz (izin vermemeniz) gerekir.
Bir tarayıcıya sayfayı okumamasını söylüyorsanız, noindex işaretini asla görmez ve içeriği yenilenmese de sayfa dizine eklenmiş olarak kalır.
Arama motorlarının sitemi dizine eklemesini nasıl durdurabilirim?
Bir sayfayı zaten dizine eklendikten sonra arama dizininden kaldırmak istiyorsanız, aşağıdaki adımları tamamlayabilirsiniz:
- noindex yönergesini uygulayın meta etiketine veya HTTP yanıt başlığına noindex özniteliğini ekleyin
- Arama motorunun sayfayı taramasını isteyin Google için bunu arama konsolunda yapabilirsiniz, Google'ın sayfayı yeniden dizine eklemesini isteyin. Bu, Googlebot'un sayfayı taramasını tetikleyecek ve burada Googlebot noindex yönergesini keşfedecektir. Bunu, sayfayı kaldırmak istediğiniz her arama motoru için yapmanız gerekecektir.
- Sayfanın aramadan kaldırıldığını onaylayın Tarayıcıdan web sayfanızı tekrar ziyaret etmesini talep ettikten sonra, biraz bekleyin ve ardından sayfanızın arama sonuçlarından kaldırıldığını onaylayın. Bunu, aşağıdaki görüntüdeki gibi herhangi bir arama motoruna gidip site iki nokta üst üste hedef URL'sini girerek yapabilirsiniz.
Aramanız hiçbir sonuç döndürmezse, sayfanız bu arama dizininden kaldırılmıştır. - Sayfa kaldırılmamışsa Robots.txt dosyanızda bir "disallow" yönergesi olmadığından emin olun. Google ve diğer arama motorları, sayfayı taramalarına izin verilmezse noindex yönergesini okuyamaz. Okursanız, hedef sayfa için izin vermeme yönergesini kaldırın ve ardından yeniden tarama isteğinde bulunun.
- Robots.txt dosyanızda hedef sayfa için bir izin vermeme yönergesi ayarlayın İzin Verme: /page$
Robots.txt dosyanızdaki URL'nin sonuna dolar işareti koymanız gerekir, aksi takdirde o sayfanın altındaki sayfalara ve aynı dizeyle başlayan sayfalara yanlışlıkla izin vermeyebilirsiniz. Örn: Disallow: /sweater ayrıca /sweater-weather ve /sweater/green'e izin vermez, ancak Disallow: /sweater$ yalnızca /sweater sayfasına izin vermez.
Nasıl Bir Sayfayı Google Arama'dan Kaldırmak için
Aramadan kaldırılmasını istediğiniz sayfa sahibi olduğunuz veya yönettiğiniz bir sitedeyse, çoğu site Web Yöneticisi URL Kaldırma Aracı'nı kullanabilir.
Web Yöneticisi URL kaldırma aracı, içeriği yalnızca yaklaşık 90 gün boyunca aramadan kaldırır; daha kalıcı bir çözüm istiyorsanız, bir noindex yönergesi kullanmanız, robots.txt dosyanızdan taramaya izin vermemeniz veya sayfayı sitenizden kaldırmanız gerekir. Google, kalıcı URL kaldırma için ek talimatları burada sağlar.
Sahibi olmadığınız bir site için bir sayfayı aramadan kaldırmaya çalışıyorsanız, aşağıdaki ölçütleri karşılıyorsa Google'ın sayfayı aramadan kaldırmasını isteyebilirsiniz:
- Kredi kartınız veya sosyal güvenlik numaranız gibi kişisel bilgileri görüntüler
- Sayfa, bir kötü amaçlı yazılım veya kimlik avı planının parçası
- Sayfa yasayı ihlal ediyor
- Sayfa bir telif hakkını ihlal ediyor
Sayfa yukarıdaki kriterlerden birini karşılamıyorsa, çevrimiçi itibar yönetimi konusunda yardım almak için bir SEO firması veya PR şirketi ile iletişime geçebilirsiniz.
Kategori sayfalarını noindex yapmalısınız?
Kullanıcı tarafından oluşturulan aramalara veya etiketlere dayalı olarak kategori sayfalarını programlı olarak döndüren kurumsal düzeyde bir kuruluş değilseniz ve yinelenen içerik hantal hale gelmiyorsa, genellikle kategori sayfalarının noindex olarak kullanılması önerilmez.
Çoğunlukla, içeriğinizi akıllıca, kullanıcıların sitenizde daha iyi gezinmesine ve ihtiyaç duyduklarını bulmasına yardımcı olacak şekilde etiketlerseniz, o zaman sorun olmaz.
Aslında, kategori sayfaları, genellikle kategori konuları altında derinlemesine içerik gösterdikleri için SEO için altın madeni olabilir.
Bir avuç çevrimiçi yayın için kategori sayfalarının değerini ölçmek üzere Aralık 2018'de yaptığımız bu analize bir göz atın.
Kategori açılış sayfalarının yüzlerce 1. sayfa anahtar kelimesi için sıralandığını ve her ay binlerce organik ziyaretçi getirdiğini bulduk.
Her site için en değerli kategori sayfaları genellikle binlerce organik ziyaretçi getirdi.
Aşağıda EW.com'a bir göz atın, her sayfaya gelen trafiği (dairenin boyutuyla temsil edilir) ve her sayfaya gelen trafiğin değerini ( dairenin rengiyle temsil edilir) ölçtük.
Sayfanın Aylık Organik Değeri = Renk Derinliği
Şimdi aynı çizelgeleri hayal edin, ancak ziyaretçilerin aktif satın alma yapma olasılığının yüksek olduğu ürün tabanlı siteler için.
Bununla birlikte, kategorileriniz kullanıcıların kafasını karıştıracak veya aramada birbiriyle rekabet edecek kadar benzerse, bir değişiklik yapmanız gerekebilir:
- Kategorileri kendiniz belirliyorsanız, içeriği bir kategoriden diğerine taşımanızı ve genel olarak sahip olduğunuz toplam kategori sayısını azaltmanızı öneririz.
- Kullanıcıların kategorileri hızlandırmasına izin veriyorsanız, en azından yeni kategoriler bir inceleme sürecinden geçene kadar, kullanıcı tarafından oluşturulan kategori sayfalarını noindex yapmak isteyebilirsiniz.
Google'ın alt alan adlarını dizine eklemesini nasıl durdurabilirim?
Google'ın alt alan adlarını dizine eklemesini durdurmak için birkaç seçenek vardır:
- Bir .htpasswd dosyası kullanarak parola ekleyebilirsiniz.
- Bir robots.txt dosyasıyla tarayıcılara izin vermeyebilirsiniz
- Alt etki alanındaki her sayfaya bir noindex yönergesi ekleyebilirsiniz.
- Tüm alt alan sayfalarını 404 yapabilirsiniz
İndekslemeyi Engellemek için Parola Ekleme
Alt alan adlarınız geliştirme amaçlıysa, alt alanınızın kök dizinine bir .htpasswd dosyası eklemek mükemmel bir seçenektir. Oturum açma duvarı, tarayıcıların alt alandaki içeriği dizine eklemesini ve yetkisiz kullanıcı erişimini engelleyecektir.
Örnek kullanım durumları:
- dev.domain.com
- Hazırlama.domain.com
- test.domain.com
- QA.domain.com
- UAT.domain.com
İndekslemeyi Engellemek için robots.txt'yi kullanma
Alt alanlarınız başka amaçlara hizmet ediyorsa, alt alanınızın kök dizinine bir robots.txt dosyası ekleyebilirsiniz. Daha sonra şu şekilde erişilebilir olmalıdır:
https://subdomain.domain.com/robots.txt
Arama yapmasını engellemeye çalıştığınız her alt alan adına bir robots.txt dosyası eklemeniz gerekecek. Örnek:
https://help.domain.com/robots.txt
https://public.domain.com/robots.txt
Her durumda, robots.txt dosyası tarayıcılara izin vermemelidir, çoğu tarayıcıyı tek bir komutla engellemek için aşağıdaki kodu kullanın:
Kullanıcı aracısı: *
İzin verme: /
user-agent: 'dan sonraki yıldız * joker karakter olarak adlandırılır, herhangi bir karakter dizisiyle eşleşir. Bir joker karakter kullanılması, adlarına bakılmaksızın googlebot'tan yandex'e kadar tüm kullanıcı aracılarına aşağıdaki izin vermeme yönergesini gönderir.
Ters eğik çizgi, tarayıcıya, alt etki alanının dışındaki tüm sayfaların izin vermeme yönergesine dahil edildiğini söyler.
Alt Alan Sayfalarının İndekslenmesini Seçici Olarak Engelleme
Bir alt alandaki bazı sayfaların aramada görünmesini, ancak diğerlerinin görünmemesini istiyorsanız, iki seçeneğiniz vardır:
- Sayfa düzeyinde noindex yönergeleri kullanın
- Klasör veya dizin düzeyinde izin vermeme yönergeleri kullanın
Yönergenin her sayfanın HTML'sine veya Başlığına eklenmesi gerektiğinden, sayfa düzeyinde noindex yönergelerinin uygulanması daha zahmetli olacaktır. Bununla birlikte, noindex direktifleri, alt alan zaten dizine eklenmiş olsun veya olmasın, Google'ın bir alt alan adını dizine eklemesini durduracaktır.
Dizin düzeyinde izin vermeme yönergelerinin uygulanması daha kolaydır, ancak yalnızca alt alan sayfaları zaten arama dizininde değilse çalışır. Geçerli dizinlerin veya alt klasörlerin taranmasına izin vermemek için alt alanın robots.txt dosyasını güncellemeniz yeterlidir.
Sayfalarımın Endekslenmediğini Nasıl Anlarım?
Yanlışlıkla sitenize indekslenmeyen bir yönerge sayfası eklemek, arama sıralamalarınız ve arama görünürlüğünüz için ciddi sonuçlar doğurabilir.
İyi içeriğe ve geri bağlantılara rağmen bir sayfanın herhangi bir organik trafik görmediğini fark ederseniz, öncelikle robots.txt dosyanızdan tarayıcılara yanlışlıkla izin vermediğinizi kontrol edin. Bu, sorununuzu çözmezse, noindex yönergeleri için ayrı sayfaları kontrol etmeniz gerekir.
WordPress Sayfalarında NoIndex Kontrolü
WordPress, bu etiketi sayfalarınıza eklemenizi veya kaldırmanızı kolaylaştırır. Sayfalarınızda nofollow olup olmadığını kontrol etmenin ilk adımı, "Ayarlar" menüsünün "Okuma" sekmesindeki Arama Motoru Görünürlüğü ayarını değiştirmektir.
Bu muhtemelen sorunu çözecektir, ancak bu ayar bir kural yerine bir 'öneri' olarak çalışır ve içeriğinizin bir kısmı yine de dizine eklenebilir.
Dosyalarınız ve içeriğiniz için mutlak gizlilik sağlamak için, varsa cPanel yönetim araçlarını kullanarak veya basit bir eklenti aracılığıyla sitenizi şifreyle koruyarak son bir adım atmanız gerekecektir.
Aynı şekilde, bu etiketi içeriğinizden kaldırmak, parola korumasını kaldırarak ve görünürlük ayarının işaretini kaldırarak yapılabilir.
Squarespace'te NoIndex'i kontrol etme
Squarespace sayfaları ayrıca, platformun Kod Enjeksiyon özelliği kullanılarak kolayca NoIndexlenir. WordPress gibi, Squarespace de parola koruması kullanılarak rutin aramalardan kolayca engellenebilir, ancak platform, içeriğinizin bütünlüğünü korumak için bu adımı atmamanızı da tavsiye eder.
İnternet arama motorlarından gizlemek istediğiniz her sayfaya ve altındaki her alt sayfaya NoIndex kod satırını ekleyerek, genel erişimin engellenmesi gereken güvenli içeriğin güvenliğini sağlayabilirsiniz. Diğer platformlarda olduğu gibi, bu etiketi kaldırmak da oldukça basittir: yapmanız gereken tek şey, kodu geri almak için Kod Enjeksiyon özelliğini kullanmaktır.
Squarespace, rakiplerinin bu seçeneği öncelikle sayfa yönetimi araçlarındaki ayar paketinin bir parçası olarak sunması bakımından benzersizdir. Squarespace buradan ayrılarak kodun kişisel olarak değiştirilmesine izin verir. Bu ilginç çünkü bu alandaki diğerlerinden farklı olarak sayfanızın içeriğinde yaptığınız değişikliği görebiliyorsunuz.
Wix'te NoIndex'i kontrol etme
Wix ayrıca NoIndexing sorunları için basit ve hızlı bir düzeltme sağlar. Sitenizde tek bir sayfayı NoIndex yapmak istiyorsanız, “Menüler ve Sayfalar” ayarlarında 'bu sayfayı arama sonuçlarında göster' seçeneğini devre dışı bırakabilirsiniz.
Rakiplerinde olduğu gibi, Wix de ekstra gizlilik için sayfalarınızı veya tüm sitenizi koruyan parola önerir. Ancak Wix, destek ekibinin içeriği tarayıcıdan korumak için her iki cephede de paralel eylem önermemesi bakımından diğerlerinden ayrılır. Wix, bir sayfayı menünüzden gizlemek ile onu arama kriterlerinden gizlemek arasındaki fark hakkında özel bir not alır.
Bu, site menünüzden kaldırmanın sayfaya siteden erişilemez hale geldiğini, ancak ihtiyatlı bir Google arama teriminden değil, başlangıçta farkı anlayamayabilecek daha az deneyimli web sitesi oluşturucuları için özellikle yararlı bir tavsiyedir.