Noindex Nofollow dan Disallow: Cari Arahan Perayap
Diterbitkan: 2022-12-01Ada tiga arahan (perintah) yang dapat Anda gunakan untuk menentukan cara mesin telusur menemukan, menyimpan, dan menyajikan informasi dari situs Anda sebagai hasil penelusuran:
- NoIndex: Jangan tambahkan halaman saya ke hasil pencarian.
- NoFollow: Jangan lihat link di halaman ini.
- Larang: Jangan lihat halaman ini sama sekali.
Arahan ini memungkinkan Anda mengontrol halaman situs mana yang dapat dirayapi oleh mesin telusur dan muncul di penelusuran.
Apa yang dimaksud dengan Tanpa Indeks?
Arahan noindex memberi tahu perayap penelusuran, seperti googlebot, untuk tidak menyertakan laman web dalam hasil penelusurannya.
Bagaimana Anda Menandai Halaman Tanpa Indeks?
Ada dua cara untuk mengeluarkan arahan noindex :
- Tambahkan tag meta noindex ke kode HTML halaman
- Kembalikan header noindex dalam permintaan HTTP
Dengan menggunakan tag meta "tanpa indeks" untuk halaman, atau sebagai header respons HTTP, Anda pada dasarnya menyembunyikan halaman dari pencarian.
Arahan noindex juga dapat digunakan untuk memblokir hanya mesin telusur tertentu. Misalnya, Anda dapat memblokir Google agar tidak mengindeks halaman tetapi tetap mengizinkan Bing:
Contoh: Memblokir Sebagian Besar Mesin Pencari*
<meta name=”robots” content=”noindex”>
Contoh: Hanya Memblokir Google
<meta name=”googlebot” content=”noindex”>
Perhatikan: Mulai September 2019, Google tidak lagi mematuhi perintah noindex di file robots.txt . Noindex sekarang HARUS diterbitkan melalui tag meta HTML atau header respons HTTP. Untuk pengguna yang lebih mahir, pelarangan masih berfungsi untuk saat ini, meskipun tidak untuk semua kasus penggunaan.
Apa perbedaan antara noindex dan nofollow?
Ini perbedaan antara menyimpan konten, dan menemukan konten:
noindex diterapkan pada tingkat halaman dan memberi tahu perayap mesin pencari untuk tidak mengindeks dan menyajikan halaman dalam hasil pencarian.
nofollow diterapkan pada tingkat halaman atau tautan dan memberi tahu perayap mesin telusur untuk tidak mengikuti (menemukan) tautan tersebut.
Pada dasarnya tag noindex menghapus halaman dari indeks pencarian, dan atribut nofollow menghapus tautan dari grafik tautan mesin pencari.
NoFollow Sebagai Atribut Halaman
Menggunakan nofollow pada tingkat halaman berarti perayap tidak akan mengikuti tautan mana pun di halaman itu untuk menemukan konten tambahan, dan perayap tidak akan menggunakan tautan sebagai sinyal peringkat untuk situs target.
<meta name=”robots” content=”nofollow”>
NoFollow sebagai Atribut Tautan
Menggunakan nofollow pada tingkat tautan mencegah perayap menjelajahi tautan khusus iklan, dan mencegah tautan tersebut digunakan sebagai sinyal peringkat.
Arahan nofollow diterapkan pada tingkat tautan menggunakan atribut rel di dalam tag a href:
<a href=”https://domain.com” rel=”nofollow”>
Khusus untuk Google, menggunakan atribut link nofollow akan mencegah situs Anda meneruskan PageRank ke URL tujuan.
Mengapa Anda Harus Menandai Halaman sebagai NoFollow?
Untuk sebagian besar kasus penggunaan, Anda tidak boleh menandai seluruh halaman sebagai nofollow – cukup menandai setiap tautan sebagai nofollow.
Anda akan menandai seluruh laman sebagai nofollow jika Anda tidak ingin Google melihat tautan di laman tersebut, atau jika menurut Anda tautan di laman tersebut dapat merusak situs Anda.
Dalam sebagian besar kasus, arahan nofollow tingkat halaman selimut digunakan saat Anda tidak memiliki kontrol atas konten yang diposting ke halaman Beberapa penerbit kelas atas juga telah menerapkan arahan nofollow ke halaman mereka untuk mencegah penulis mereka menempatkan tautan bersponsor di dalam konten mereka.
Bagaimana Saya Menggunakan Halaman Tanpa Indeks?
Tandai halaman sebagai noindex yang kemungkinan tidak memberikan nilai bagi pengguna dan seharusnya tidak muncul sebagai hasil pencarian. Misalnya, halaman yang ada untuk penomoran halaman kemungkinan tidak akan menampilkan konten yang sama dari waktu ke waktu.
Domain.com/category/resultspage=2 tidak mungkin menampilkan hasil yang lebih baik kepada pengguna daripada domain.com/category/resultspage=1 dan kedua halaman tersebut hanya akan bersaing satu sama lain dalam penelusuran. Yang terbaik adalah halaman noindex yang tujuan satu-satunya adalah pagination.
Berikut adalah jenis halaman yang harus Anda pertimbangkan untuk tidak mengindeks:
- Halaman yang digunakan untuk paginasi
- Halaman pencarian internal
- Laman Landas yang Dioptimalkan untuk Iklan
- Mis: Hanya menampilkan formulir promosi dan pendaftaran, tanpa nav utama
- Contoh: Variasi duplikat dari konten yang sama, hanya digunakan untuk iklan
- Halaman penulis yang diarsipkan
- Halaman dalam alur pembayaran
- Halaman Konfirmasi
- Contoh: Halaman terima kasih
- Mis: Memesan halaman lengkap
- Contoh: Sukses! Halaman
- Beberapa halaman yang dihasilkan plugin yang tidak relevan dengan situs Anda (mis: jika Anda menggunakan plugin perdagangan tetapi tidak menggunakan halaman produk regulernya)
- Halaman admin dan halaman login admin
Menandai Halaman Noindex dan Nofollow
Halaman yang ditandai noindex dan nofollow akan memblokir crawler agar tidak mengindeks halaman tersebut, dan memblokir crawler agar tidak menjelajahi tautan di halaman tersebut.
Pada dasarnya, gambar di bawah ini menunjukkan apa yang akan dilihat oleh mesin telusur di laman web tergantung pada cara Anda menggunakan arahan noindex dan nofollow:
Menandai Halaman yang Sudah Diindeks sebagai NoIndex
Jika mesin telusur telah mengindeks sebuah halaman, dan Anda menandainya sebagai noindex , saat berikutnya halaman tersebut dirayapi, halaman tersebut akan dihapus dari hasil pencarian Agar metode menghapus laman dari indeks ini berfungsi, Anda tidak boleh memblokir (melarang) perayap dengan file robots.txt Anda.
Jika Anda memberi tahu crawler untuk tidak membaca halaman, crawler tidak akan pernah melihat penanda noindex , dan halaman akan tetap diindeks meskipun kontennya tidak akan disegarkan.
Bagaimana cara menghentikan mesin telusur mengindeks situs saya?
Jika Anda ingin menghapus halaman dari indeks pencarian, setelah diindeks, Anda dapat menyelesaikan langkah-langkah berikut:
- Terapkan arahan noindex Tambahkan atribut noindex ke tag meta atau header respons HTTP
- Minta mesin pencari merayapi halaman Untuk Google Anda dapat melakukan ini di konsol pencarian, minta Google mengindeks ulang halaman tersebut. Ini akan memicu Googlebot merayapi laman, di mana Googlebot akan menemukan perintah noindex. Anda harus melakukan ini untuk setiap mesin telusur yang ingin Anda hapus lamannya.
- Konfirmasi halaman telah dihapus dari pencarian Setelah Anda meminta crawler mengunjungi kembali halaman web Anda, berikan waktu, lalu konfirmasikan bahwa halaman Anda telah dihapus dari hasil pencarian. Anda dapat melakukan ini dengan membuka mesin pencari apa saja dan memasukkan url target titik dua situs, seperti pada gambar di bawah.
Jika pencarian Anda tidak memberikan hasil, halaman Anda telah dihapus dari indeks pencarian tersebut. - Jika halaman belum dihapus Periksa apakah Anda tidak memiliki arahan "disallow" di file robots.txt Anda. Google dan mesin telusur lainnya tidak dapat membaca arahan noindex jika mereka tidak diizinkan merayapi laman. Jika Anda melakukannya, hapus arahan larangan untuk laman target, lalu minta perayapan lagi.
- Tetapkan perintah larangan untuk halaman target di file robots.txt Disallow: /page$
Anda harus meletakkan tanda dolar di bagian akhir URL di file robots.txt Anda atau Anda mungkin secara tidak sengaja melarang halaman apa pun di bawah halaman itu, serta halaman apa pun yang dimulai dengan string yang sama. Mis: Larang: /sweater juga akan melarang /sweater-cuaca dan /sweater/hijau, tetapi Larang: /sweater$ hanya akan melarang halaman /sweater yang tepat.
Bagaimana untuk Menghapus Halaman dari Google Penelusuran
Jika laman yang ingin Anda hapus dari penelusuran ada di situs yang Anda miliki atau kelola, sebagian besar situs dapat menggunakan Alat Penghapus URL Webmaster.
Alat penghapus URL Webmaster hanya menghapus konten dari penelusuran selama sekitar 90 hari, jika Anda menginginkan solusi yang lebih permanen, Anda harus menggunakan arahan noindex, melarang perayapan dari robots.txt, atau menghapus laman dari situs Anda. Google memberikan petunjuk tambahan untuk penghapusan URL permanen di sini.
Jika Anda mencoba menghapus laman dari penelusuran untuk situs yang bukan milik Anda, Anda dapat meminta Google menghapus laman dari penelusuran jika memenuhi kriteria berikut:
- Menampilkan informasi pribadi seperti kartu kredit atau nomor jaminan sosial Anda
- Laman tersebut adalah bagian dari skema malware atau phishing
- Halaman tersebut melanggar hukum
- Halaman tersebut melanggar hak cipta
Jika halaman tersebut tidak memenuhi salah satu kriteria di atas, Anda dapat menghubungi perusahaan SEO atau perusahaan PR untuk mendapatkan bantuan manajemen reputasi online.
Haruskah Anda noindex halaman kategori?
Biasanya tidak disarankan untuk halaman kategori noindex, kecuali jika Anda adalah organisasi tingkat perusahaan yang memutar halaman kategori secara terprogram berdasarkan pencarian atau tag yang dibuat pengguna dan konten duplikat semakin berat.
Sebagian besar jika Anda menandai konten Anda dengan cerdas, dengan cara yang membantu pengguna menavigasi situs Anda dengan lebih baik dan menemukan apa yang mereka butuhkan, maka Anda akan baik-baik saja.
Faktanya, halaman kategori bisa menjadi tambang emas untuk SEO karena biasanya menunjukkan kedalaman konten di bawah topik kategori.
Lihat analisis yang kami lakukan pada bulan Desember 2018 untuk menghitung nilai halaman kategori untuk beberapa publikasi online.
Kami menemukan bahwa halaman arahan kategori diberi peringkat untuk ratusan kata kunci halaman 1, dan mendatangkan ribuan pengunjung organik setiap bulan.
Halaman kategori paling berharga untuk setiap situs sering mendatangkan ribuan pengunjung organik.
Lihatlah EW.com di bawah ini, kami mengukur lalu lintas ke setiap halaman (diwakili oleh ukuran lingkaran) dan nilai lalu lintas ke setiap halaman (diwakili oleh warna lingkaran).
Nilai Organik Bulanan Halaman = Kedalaman Warna
Sekarang bayangkan bagan yang sama, tetapi untuk situs berbasis produk di mana pengunjung cenderung melakukan pembelian aktif.
Karena itu, jika kategori Anda cukup mirip untuk menyebabkan kebingungan pengguna atau bersaing satu sama lain dalam penelusuran, Anda mungkin perlu melakukan perubahan:
- Jika Anda mengatur sendiri kategorinya, kami sarankan untuk memigrasikan konten dari satu kategori ke kategori lainnya dan mengurangi jumlah total kategori yang Anda miliki secara keseluruhan.
- Jika Anda mengizinkan pengguna untuk memutar kategori, maka Anda mungkin ingin noindex halaman kategori yang dibuat pengguna, setidaknya sampai kategori baru telah menjalani proses peninjauan.
Bagaimana cara menghentikan Google mengindeks subdomain?
Ada beberapa opsi untuk menghentikan Google mengindeks subdomain:
- Anda dapat menambahkan kata sandi menggunakan file .htpasswd
- Anda dapat melarang crawler dengan file robots.txt
- Anda dapat menambahkan arahan noindex ke setiap halaman di subdomain
- Anda dapat 404 semua halaman subdomain
Menambahkan Kata Sandi untuk Memblokir Pengindeksan
Jika subdomain Anda untuk tujuan pengembangan, menambahkan file .htpasswd ke direktori root subdomain Anda adalah pilihan yang sempurna. Dinding login akan mencegah perayap untuk mengindeks konten di subdomain, dan akan mencegah akses pengguna yang tidak sah.
Contoh kasus penggunaan:
- Dev.domain.com
- Pementasan.domain.com
- Pengujian.domain.com
- QA.domain.com
- UAT.domain.com
Menggunakan robots.txt untuk Memblokir Pengindeksan
Jika subdomain Anda melayani tujuan lain, Anda dapat menambahkan file robots.txt ke direktori root subdomain Anda. Itu kemudian harus dapat diakses sebagai berikut:
https://subdomain.domain.com/robots.txt
Anda perlu menambahkan file robots.txt ke setiap subdomain yang ingin Anda blokir dari pencarian. Contoh:
https://help.domain.com/robots.txt
https://public.domain.com/robots.txt
Dalam setiap kasus, file robots.txt harus melarang perayap, untuk memblokir sebagian besar perayap dengan satu perintah, gunakan kode berikut:
Agen pengguna: *
Larang: /
Bintang * setelah user-agent: disebut wildcard, itu akan cocok dengan urutan karakter apa pun. Menggunakan karakter pengganti akan mengirimkan arahan larangan berikut ke semua agen pengguna terlepas dari namanya, dari googlebot hingga yandex.
Garis miring terbalik memberi tahu crawler bahwa semua halaman di luar subdomain disertakan dalam direktif disallow.
Cara Memblokir Pengindeksan Halaman Subdomain Secara Selektif
Jika Anda ingin beberapa halaman dari subdomain muncul di pencarian, tetapi tidak yang lain, Anda memiliki dua opsi:
- Gunakan arahan noindex tingkat halaman
- Gunakan arahan pelarangan tingkat folder atau direktori
Arahan noindex tingkat halaman akan lebih rumit untuk diterapkan, karena arahan perlu ditambahkan ke HTML atau Header dari setiap halaman. Namun, arahan noindex akan menghentikan Google mengindeks subdomain apakah subdomain tersebut telah diindeks atau tidak.
Arahan pelarangan tingkat direktori lebih mudah diterapkan, tetapi hanya akan berfungsi jika halaman subdomain belum ada dalam indeks pencarian. Cukup perbarui file robots.txt subdomain untuk melarang perayapan direktori atau subfolder yang berlaku.
Bagaimana Saya Tahu jika Halaman Saya Tidak Diindeks?
Secara tidak sengaja menambahkan halaman arahan tanpa indeks di situs Anda dapat memiliki konsekuensi drastis untuk peringkat pencarian dan visibilitas pencarian Anda.
Jika Anda menemukan halaman tidak melihat lalu lintas organik meskipun ada konten dan tautan balik yang bagus, pertama-tama periksa apakah Anda tidak secara tidak sengaja melarang perayap dari file robots.txt Anda. Jika itu tidak menyelesaikan masalah Anda, Anda harus memeriksa setiap halaman untuk arahan noindex.
Memeriksa NoIndex di Halaman WordPress
WordPress memudahkan untuk menambahkan atau menghapus tag ini di halaman Anda. Langkah pertama dalam memeriksa nofollow di halaman Anda adalah dengan mengaktifkan pengaturan Visibilitas Mesin Pencari di dalam tab "Membaca" di menu "Pengaturan".
Ini mungkin akan menyelesaikan masalah, namun pengaturan ini berfungsi sebagai 'saran' daripada aturan, dan beberapa konten Anda mungkin akan tetap diindeks.
Untuk memastikan privasi mutlak untuk file dan konten Anda, Anda harus mengambil satu langkah terakhir baik dengan kata sandi melindungi situs Anda menggunakan alat manajemen cPanel, jika tersedia, atau melalui plugin sederhana.
Demikian pula, menghapus tag ini dari konten Anda dapat dilakukan dengan menghapus perlindungan kata sandi dan menghapus centang pada pengaturan visibilitas.
Memeriksa NoIndex di Squarespace
Halaman Squarespace juga dengan mudah NoIndexed menggunakan kemampuan Injeksi Kode platform. Seperti WordPress, Squarespace dapat dengan mudah diblokir dari pencarian rutin menggunakan perlindungan kata sandi, namun platform ini juga menyarankan agar tidak mengambil langkah ini untuk melindungi integritas konten Anda.
Dengan menambahkan baris kode NoIndex di dalam setiap halaman yang ingin Anda sembunyikan dari mesin pencari internet dan ke setiap subhalaman di bawahnya, Anda dapat memastikan keamanan konten aman yang harus diblokir dari akses publik. Seperti platform lain, menghapus tag ini juga cukup mudah: cukup gunakan fitur Injeksi Kode untuk mengeluarkan kembali kode yang perlu Anda lakukan.
Squarespace unik karena pesaingnya menawarkan opsi ini terutama sebagai bagian dari rangkaian pengaturan di alat manajemen halaman. Squarespace berangkat dari sini, memungkinkan manipulasi kode secara pribadi. Ini menarik karena Anda dapat melihat perubahan yang Anda buat pada konten halaman Anda, tidak seperti yang lain di ruang ini.
Memeriksa NoIndex di Wix
Wix juga memungkinkan perbaikan sederhana dan cepat untuk masalah NoIndexing. Dalam pengaturan “Menus & Halaman”, Anda cukup menonaktifkan opsi untuk 'menampilkan halaman ini di hasil pencarian' jika Anda ingin NoIndex satu halaman dalam situs Anda.
Seperti para pesaingnya, Wix juga menyarankan kata sandi untuk melindungi halaman Anda atau seluruh situs untuk privasi ekstra. Namun, Wix menyimpang dari yang lain karena tim dukungan tidak meresepkan tindakan paralel di kedua front untuk mengamankan konten dari perayap. Wix membuat catatan khusus tentang perbedaan antara menyembunyikan halaman dari menu Anda dan menyembunyikannya dari kriteria pencarian.
Ini adalah saran yang sangat berguna untuk pembuat situs web yang kurang berpengalaman yang mungkin awalnya tidak memahami perbedaan mengingat penghapusan dari menu situs Anda membuat halaman tidak dapat dijangkau dari situs, tetapi bukan dari istilah pencarian Google yang bijaksana.