Apa Itu Anggaran Perayapan & Cara Mengoptimalkannya

Anggaran perayapan mungkin tampak seperti konsep asing saat Anda pertama kali belajar tentang cara kerja bot mesin telusur. Meskipun bukan konsep SEO yang paling mudah, namun tidak serumit kelihatannya. Setelah Anda mulai memahami apa itu anggaran perayapan dan cara kerja perayapan mesin pencari, Anda dapat mulai mengoptimalkan situs web Anda untuk mengoptimalkan kemampuan perayapan. Proses ini akan membantu situs Anda mencapai potensi tertingginya untuk mendapatkan peringkat di hasil penelusuran Google.

Apa itu Anggaran Perayapan?

Anggaran perayapan adalah jumlah URL dari satu situs web yang dapat diindeks oleh bot mesin telusur dalam satu sesi pengindeksan. “Anggaran” sesi perayapan berbeda dari situs web ke situs web berdasarkan ukuran masing-masing situs, metrik lalu lintas , dan kecepatan pemuatan laman.

Jika Anda sudah sampai sejauh ini dan istilah SEO asing bagi Anda, gunakan glosarium SEO kami untuk menjadi lebih akrab dengan definisinya .

Faktor Apa yang Mempengaruhi Anggaran Perayapan Situs Web?

Google tidak mencurahkan jumlah waktu atau jumlah perayapan yang sama ke setiap situs web di internet. Perayap web juga menentukan laman mana yang dirayapi dan seberapa sering berdasarkan beberapa faktor. Mereka menentukan seberapa sering dan berapa lama setiap situs harus dirayapi berdasarkan:

• Popularitas: Semakin banyak situs atau halaman dikunjungi, semakin sering harus dianalisis untuk pembaruan. Selain itu, halaman yang lebih populer akan menghasilkan lebih banyak tautan masuk dengan lebih cepat.
• Ukuran: Situs web besar dan halaman dengan lebih banyak elemen padat data membutuhkan waktu lebih lama untuk dirayapi.
• Kesehatan/Masalah: Saat perayap web menemui jalan buntu melalui tautan internal, perlu waktu untuk menemukan titik awal baru–atau perayapan ditinggalkan. 404 kesalahan, pengalihan, dan waktu pemuatan yang lambat memperlambat dan menghalangi perayap web.

Bagaimana Anggaran Perayapan Anda Mempengaruhi SEO?

Proses pengindeksan perayap web memungkinkan pencarian. Jika konten Anda tidak dapat ditemukan kemudian diindeks oleh perayap web Google, halaman web Anda–dan situs web Anda tidak akan dapat ditemukan oleh pencari. Ini akan menyebabkan situs Anda kehilangan banyak lalu lintas pencarian.

Mengapa Google Merayapi Situs Web?

Googlebots secara sistematis menelusuri halaman situs web untuk menentukan isi halaman dan situs web secara keseluruhan. Perayap web memproses, mengkategorikan, dan mengatur data dari situs web itu halaman demi halaman untuk membuat cache URL beserta kontennya, sehingga Google dapat menentukan hasil pencarian mana yang harus muncul sebagai tanggapan atas permintaan pencarian.

Selain itu, Google menggunakan informasi ini untuk menentukan hasil pencarian mana yang paling sesuai dengan kueri pencarian untuk menentukan di mana setiap hasil pencarian harus muncul dalam daftar hasil pencarian hierarkis.

Apa yang Terjadi Selama Perayapan?

Google membagikan sejumlah waktu bagi Googlebot untuk memproses situs web. Karena keterbatasan ini, bot kemungkinan besar tidak akan merayapi seluruh situs selama satu sesi perayapan. Sebaliknya, itu akan bekerja melalui semua halaman situs berdasarkan file robots.txt dan faktor lainnya (seperti popularitas halaman).

Selama sesi perayapan, Googlebot akan menggunakan pendekatan sistematis untuk memahami konten setiap laman yang diprosesnya.

Ini termasuk pengindeksan atribut tertentu, seperti:

1. Tag meta dan menggunakan NLP untuk menentukan artinya
2. Tautan dan teks jangkar
3. File multimedia untuk pencarian gambar dan pencarian video
4. Markup skema
5. markup HTML

Perayap web juga akan menjalankan pemeriksaan untuk menentukan apakah konten pada laman merupakan duplikat kanonis. Jika demikian, Google akan memindahkan URL ke perayapan prioritas rendah, sehingga tidak membuang waktu untuk merayapi laman terlalu sering.

Apa itu Tingkat Perayapan dan Permintaan Perayapan?

Perayap web Google menetapkan jumlah waktu tertentu untuk setiap perayapan yang mereka lakukan. Sebagai pemilik situs web, Anda tidak memiliki kendali atas jumlah waktu ini. Namun, Anda dapat mengubah seberapa cepat mereka meng-crawl setiap halaman di situs Anda saat mereka berada di situs Anda. Angka ini disebut tingkat perayapan Anda .

Permintaan perayapan adalah seberapa sering Google merayapi situs Anda. Frekuensi ini didasarkan pada permintaan situs Anda oleh pengguna internet dan seberapa sering konten situs Anda perlu diperbarui di penelusuran. Anda dapat mengetahui seberapa sering Google merayapi situs Anda menggunakan analisis file log (lihat #2 di bawah).

Bagaimana Cara Menentukan Anggaran Perayapan Situs Saya?

Karena Google membatasi berapa kali mereka merayapi situs Anda dan untuk berapa lama, Anda ingin mengetahui berapa anggaran perayapan Anda. Namun, Google tidak memberikan data ini kepada pemilik situs–terutama jika anggaran Anda sangat sempit sehingga konten baru tidak akan mencapai SERP tepat waktu. Ini bisa menjadi bencana untuk konten penting dan halaman baru seperti halaman produk yang dapat menghasilkan uang bagi Anda.

Untuk memahami apakah situs Anda menghadapi batasan anggaran perayapan (atau untuk mengonfirmasi bahwa situs Anda baik-baik saja), Anda perlu: Dapatkan inventaris tentang berapa banyak URL yang ada di situs Anda. Jika Anda menggunakan Yoast, total Anda akan tercantum di bagian atas URL peta situs Anda .

Setelah Anda memiliki nomor ini, gunakan bagian "Pengaturan" > "Statistik perayapan" dari Google Search Console untuk menentukan berapa banyak halaman yang dirayapi Google di situs Anda setiap hari.

Bagaimana Cara Mengoptimalkan Anggaran Perayapan Anda?

Ketika tiba saatnya situs Anda menjadi terlalu besar untuk anggaran perayapannya–Anda harus mendalami pengoptimalan anggaran perayapan. Karena Anda tidak dapat memberi tahu Google untuk merayapi situs Anda lebih sering atau untuk waktu yang lebih lama, Anda harus fokus pada apa yang dapat Anda kendalikan.

Pengoptimalan anggaran perayapan memerlukan pendekatan multifaset dan pemahaman tentang praktik terbaik Google . Di mana Anda harus memulai untuk memaksimalkan tingkat perayapan Anda? Daftar lengkap ini ditulis dalam urutan hierarkis, jadi mulailah dari atas.

1. Pertimbangkan untuk Meningkatkan Batas Laju Perayapan Situs Anda

Google mengirimkan permintaan secara bersamaan ke beberapa halaman di situs Anda. Namun, Google mencoba untuk bersikap sopan dan tidak membuat server Anda macet sehingga waktu muat lebih lambat untuk pengunjung situs Anda. Jika Anda melihat situs Anda tertinggal entah dari mana, ini mungkin masalahnya.

Untuk memerangi pengaruh terhadap pengalaman pengguna Anda, Google mengizinkan Anda mengurangi tingkat perayapan. Melakukan hal itu akan membatasi berapa banyak halaman yang dapat diindeks oleh Google secara bersamaan.

Namun, yang cukup menarik, Google juga memungkinkan Anda menaikkan batas kecepatan perayapan–efeknya adalah mereka dapat menarik lebih banyak halaman sekaligus, menghasilkan lebih banyak URL yang dirayapi sekaligus. Meskipun, semua laporan menyarankan Google lambat untuk menanggapi peningkatan batas kecepatan perayapan, dan itu tidak menjamin bahwa Google akan merayapi lebih banyak situs secara bersamaan.

Cara Meningkatkan Batas Tingkat Perayapan Anda:

1. Di Search Console, buka "Pengaturan".
2. Dari sana, Anda dapat melihat apakah tingkat perayapan Anda optimal atau tidak.
3. Kemudian Anda dapat meningkatkan batas kecepatan perayapan yang lebih cepat selama 90 hari.

2. Lakukan Analisis File Log

Analisis file log adalah laporan dari server yang mencerminkan setiap permintaan yang dikirim ke server. Laporan ini akan memberi tahu Anda dengan tepat apa yang dilakukan Googlebot di situs Anda. Meskipun proses ini sering dilakukan oleh SEO teknis, Anda dapat berbicara dengan administrator server Anda untuk mendapatkannya.

Menggunakan Analisis File Log atau file log server, Anda akan belajar:

• Seberapa sering Google merayapi situs Anda
• Halaman mana yang paling banyak dirayapi
• Halaman mana yang kode servernya tidak responsif atau hilang

Setelah Anda memiliki informasi ini, Anda dapat menggunakannya untuk melakukan #3 hingga #7.

3. Selalu Perbarui Peta Situs XML dan Robots.txt Anda

Jika File Log Anda menunjukkan bahwa Google menghabiskan terlalu banyak waktu untuk merayapi halaman yang tidak Anda inginkan muncul di SERP, Anda dapat meminta agar perayap Google melewati halaman ini. Ini membebaskan sebagian anggaran perayapan Anda untuk halaman yang lebih penting.

Peta situs Anda (yang dapat Anda peroleh dari Google Search Console atau SearchAtlas ) memberi Googlebots daftar semua halaman di situs Anda yang ingin diindeks oleh Google agar dapat muncul di hasil pencarian. Menjaga peta situs Anda diperbarui dengan semua halaman web yang Anda inginkan untuk ditemukan oleh mesin telusur dan menghilangkan halaman yang tidak Anda inginkan untuk ditemukan dapat memaksimalkan cara perayap web menghabiskan waktunya di situs Anda.

File robots.txt Anda memberi tahu perayap mesin telusur halaman mana yang Anda inginkan dan tidak ingin dirayapi. Jika Anda memiliki laman yang tidak menghasilkan laman landas yang baik atau laman yang berpagar, Anda harus menggunakan tag noindex untuk URL-nya di file robots.txt Anda. Googlebots kemungkinan akan melewati halaman web apa pun dengan tag noindex.

4. Kurangi Redirect & Redirect Chains

Selain membebaskan anggaran perayapan dengan mengecualikan halaman yang tidak perlu dari perayapan mesin telusur, Anda juga dapat memaksimalkan perayapan dengan mengurangi atau menghilangkan pengalihan. Ini akan berupa URL apa pun yang menghasilkan kode status 3xx.

URL yang dialihkan membutuhkan waktu lebih lama untuk diambil Googlebot karena server harus merespons dengan pengalihan lalu mengambil halaman baru. Meskipun satu pengalihan hanya membutuhkan beberapa milidetik, mereka dapat bertambah. Dan ini dapat membuat perayapan situs Anda memakan waktu lebih lama secara keseluruhan. Jumlah waktu ini dikalikan saat Googlebot mengalami rantai pengalihan URL.

Untuk mengurangi pengalihan dan rantai pengalihan, perhatikan strategi pembuatan konten Anda dan pilih teks untuk siput Anda dengan hati-hati.

5. Perbaiki Tautan Rusak

Cara Google sering menjelajahi situs adalah dengan menavigasi melalui struktur tautan internal Anda. Saat bekerja melalui halaman Anda, ia akan mencatat jika tautan mengarah ke halaman yang tidak ada (ini sering disebut sebagai kesalahan 404 ringan). Kemudian akan melanjutkan, tidak ingin membuang waktu mengindeks halaman tersebut.

Tautan ke halaman ini perlu diperbarui untuk mengarahkan pengguna atau Googlebot ke halaman sebenarnya. ATAU (meskipun sulit dipercaya) Googlebot mungkin salah mengidentifikasi halaman sebagai kesalahan 4xx atau 404 padahal halaman tersebut benar-benar ada. Jika ini terjadi, periksa apakah URL tidak memiliki kesalahan ketik, lalu kirimkan permintaan perayapan untuk URL tersebut melalui akun Google Search Console Anda.

Untuk tetap mengikuti kesalahan perayapan ini, Anda dapat menggunakan Indeks > laporan Cakupan akun Google Search Console Anda. Atau gunakan alat Audit Situs SearchAtlas untuk menemukan laporan kesalahan situs Anda untuk diteruskan ke pengembang web Anda.

Catatan: URL baru mungkin tidak langsung muncul di Analisis File Log Anda. Beri Google waktu untuk menemukannya sebelum meminta perayapan.

6. Berusaha Meningkatkan Kecepatan Muat Halaman

Bot mesin pencari dapat bergerak melalui situs dengan kecepatan tinggi. Namun, jika kecepatan situs Anda tidak sesuai standar, itu benar-benar dapat mengurangi anggaran perayapan Anda. Gunakan Analisis Berkas Log, SearchAtlas , atau PageSpeedInsights untuk menentukan apakah waktu muat situs Anda berpengaruh negatif terhadap visibilitas pencarian Anda.

Untuk meningkatkan waktu respons situs Anda, gunakan URL dinamis dan ikuti praktik terbaik Data Web Inti Google . Ini dapat mencakup pengoptimalan gambar untuk media paro atas.

Jika masalah kecepatan situs ada di sisi server, Anda mungkin ingin berinvestasi di sumber daya server lain seperti:

• Server khusus (terutama untuk situs besar)
• Mengupgrade ke perangkat keras server yang lebih baru
• Meningkatkan RAM

Peningkatan ini juga akan meningkatkan pengalaman pengguna Anda, yang dapat membantu situs Anda tampil lebih baik di penelusuran Google karena kecepatan situs adalah sinyal untuk PageRank.

7. Jangan Lupa Menggunakan Tag Canonical

Konten duplikat tidak disukai oleh Google—setidaknya jika Anda tidak mengakui bahwa konten duplikat memiliki halaman sumber. Mengapa? Googlebot merayapi setiap laman kecuali jika terpaksa, kecuali disuruh melakukan sebaliknya. Namun, saat menemukan halaman duplikat atau salinan dari sesuatu yang dikenalnya (di halaman Anda atau di luar situs), crawling halaman tersebut akan berhenti. Dan meskipun ini menghemat waktu, Anda harus menghemat lebih banyak waktu perayap dengan menggunakan tag kanonis yang mengidentifikasi URL kanonis.

Canonicals memberi tahu Googlebot untuk tidak repot menggunakan jangka waktu perayapan Anda untuk mengindeks konten itu. Ini memberi bot mesin pencari lebih banyak waktu untuk memeriksa halaman Anda yang lain.

8. Fokus pada Struktur Tautan Internal Anda

Memiliki praktik penautan yang terstruktur dengan baik dalam situs Anda dapat meningkatkan efisiensi perayapan Google. Tautan internal memberi tahu Google laman mana di situs Anda yang paling penting, dan tautan ini membantu perayap menemukan laman dengan lebih mudah.

Struktur penautan terbaik menghubungkan pengguna dan Googlebot ke konten di seluruh situs web Anda. Selalu gunakan teks tautan yang relevan dan tempatkan tautan Anda secara alami di seluruh konten Anda.

Untuk situs e-niaga, Google memiliki praktik terbaik untuk opsi navigasi segi guna memaksimalkan perayapan. Navigasi faceted memungkinkan pengguna situs untuk memfilter produk berdasarkan atribut, menjadikan berbelanja pengalaman yang lebih baik. Pembaruan ini membantu menghindari kebingungan kanonis dan masalah duplikat selain perayapan URL yang berlebihan.

9. Pangkas Konten yang Tidak Perlu

Googlebot hanya dapat bergerak sangat cepat dan mengindeks begitu banyak halaman setiap kali mereka meng-crawl sebuah situs. Jika Anda memiliki banyak halaman yang tidak menerima lalu lintas atau memiliki konten yang ketinggalan zaman atau berkualitas rendah– hentikan! Proses pemangkasan memungkinkan Anda memotong kelebihan bagasi situs Anda yang dapat memberatkannya.

Memiliki halaman yang berlebihan di situs Anda dapat mengalihkan Googlebots ke halaman yang tidak penting sambil mengabaikan halaman.

Ingatlah untuk mengalihkan tautan apa pun ke halaman ini, sehingga Anda tidak berakhir dengan kesalahan perayapan.

10. Memperoleh Lebih Banyak Backlink

Sama seperti Googlebots tiba di situs Anda kemudian mulai mengindeks halaman berdasarkan tautan internal, mereka juga menggunakan tautan eksternal dalam proses pengindeksan. Jika situs lain tertaut ke situs Anda, Googlebot akan mengunjungi situs Anda dan mengindeks halaman untuk lebih memahami konten yang ditautkan dari.

Selain itu, backlink memberi situs Anda sedikit lebih banyak popularitas dan kebaruan, yang digunakan Google untuk menentukan seberapa sering situs Anda perlu diindeks.

11. Hilangkan Halaman Orphan

Karena crawler Google melompat dari halaman ke halaman melalui link internal, crawler dapat menemukan halaman yang ditautkan dengan mudah. Namun, halaman yang tidak ditautkan ke suatu tempat di situs Anda sering luput dari perhatian Google. Ini disebut sebagai "halaman yatim".

Kapan halaman anak yatim sesuai? Jika itu adalah halaman arahan yang memiliki tujuan atau audiens yang sangat spesifik. Misalnya, jika Anda mengirim email ke pegolf yang tinggal di Miami dengan laman landas yang hanya berlaku untuk mereka, Anda mungkin tidak ingin menautkan ke laman dari yang lain.

Alat Terbaik untuk Mengoptimalkan Anggaran Perayapan

Search Console dan Google Analytics bisa sangat berguna untuk mengoptimalkan anggaran perayapan Anda. Search Console memungkinkan Anda meminta perayap untuk mengindeks laman dan melacak statistik perayapan Anda. Google Analytics membantu Anda melacak perjalanan tautan internal Anda.

Alat SEO lainnya, seperti SearchAtlas memungkinkan Anda menemukan masalah perayapan dengan mudah melalui alat Audit Situs. Dengan satu laporan, Anda dapat melihat:

• Laporan Perayapan yang Dapat Diindeks
• Kedalaman Indeks
• Kecepatan halaman
• Konten Duplikat
• Peta Situs XML
• Tautan

Optimalkan Anggaran Perayapan Anda & Menjadi Performa Terbaik Mesin Pencari

Meskipun Anda tidak dapat mengontrol seberapa sering mesin telusur mengindeks situs Anda atau berapa lama, Anda dapat mengoptimalkan situs untuk memaksimalkan setiap perayapan mesin telusur. Mulailah dengan log server Anda dan lihat lebih dekat laporan perayapan Anda di Search Console. Kemudian selami untuk memperbaiki kesalahan perayapan, struktur tautan Anda, dan masalah kecepatan halaman.

Saat Anda mengerjakan aktivitas perayapan GSC, fokuslah pada sisa strategi SEO Anda, termasuk membangun tautan dan menambahkan konten berkualitas . Seiring waktu, Anda akan menemukan halaman arahan Anda memanjat halaman hasil mesin pencari.