Analisis anggaran perayapan adalah salah satu tugas pekerjaan ahli SEO mana pun (terutama jika mereka berurusan dengan situs web besar). Tugas penting, tercakup dengan baik dalam materi yang disediakan oleh Google. Namun, seperti yang Anda lihat di Twitter, bahkan karyawan Google meremehkan peran anggaran perayapan dalam mendapatkan lalu lintas dan peringkat yang lebih baik:

Apakah mereka benar tentang yang satu ini?

Bagaimana cara Google bekerja dan mengumpulkan data?

Saat kita memulai topik, mari kita ingat bagaimana mesin pencari mengumpulkan, mengindeks, dan mengatur informasi. Menjaga tiga langkah ini di sudut pikiran Anda sangat penting selama pekerjaan Anda nanti di situs web:

Langkah 1: Merangkak . Menjelajahi sumber daya online dengan tujuan menemukan – dan menavigasi – semua tautan, file, dan data yang ada. Umumnya, Google memulai dengan tempat paling populer di Web, dan kemudian memindai sumber daya lain yang kurang tren.

Langkah 2: Pengindeksan . Google mencoba menentukan tentang halaman tersebut dan apakah konten / dokumen yang dianalisis merupakan materi unik atau duplikat. Pada tahap ini, Google mengelompokkan konten dan menetapkan urutan kepentingan (dengan membaca saran di tag rel="canonical" atau rel="alternate" atau lainnya).

Langkah 3: Melayani . Setelah tersegmentasi dan diindeks, data ditampilkan sebagai tanggapan atas permintaan pengguna. Ini juga saat Google mengurutkan data yang sesuai, dengan mempertimbangkan faktor-faktor seperti lokasi pengguna.

Penting: banyak materi yang tersedia mengabaikan Langkah 4: rendering konten . Secara default, Googlebot mengindeks konten teks. Namun, karena teknologi web terus berkembang, Google harus menemukan solusi baru untuk berhenti hanya "membaca" dan mulai "melihat" juga. Demikianlah apa yang dimaksud dengan rendering. Ini melayani Google untuk secara substansial meningkatkan jangkauannya di antara situs web yang baru diluncurkan dan memperluas indeks.

Catatan : Masalah dengan perenderan konten mungkin menjadi penyebab gagalnya anggaran perayapan.

Berapa anggaran perayapan?

Anggaran perayapan tidak lain adalah frekuensi perayap dan bot mesin telusur dapat mengindeks situs web Anda, serta jumlah total URL yang dapat mereka akses dalam satu perayapan. Bayangkan anggaran perayapan Anda sebagai kredit yang dapat Anda belanjakan dalam layanan atau aplikasi. Jika Anda tidak ingat untuk "menagih" anggaran perayapan Anda, robot akan memperlambat dan membayar Anda lebih sedikit kunjungan.

Dalam SEO, “pengisian” mengacu pada pekerjaan yang dilakukan untuk memperoleh backlink atau meningkatkan popularitas situs web secara keseluruhan. Akibatnya, anggaran perayapan merupakan bagian integral dari seluruh ekosistem Web. Saat Anda melakukan pekerjaan dengan baik pada konten dan tautan balik, Anda menaikkan batas anggaran perayapan yang tersedia.

Dalam sumber dayanya, Google tidak berusaha untuk secara eksplisit menentukan anggaran perayapan. Sebaliknya, ini menunjuk ke dua komponen dasar perayapan yang memengaruhi ketelitian Googlebot dan frekuensi kunjungannya:

• batas kecepatan perayapan;
• permintaan merangkak.

Berapa batas kecepatan perayapan dan bagaimana cara memeriksanya?

Dalam istilah yang paling sederhana, batas kecepatan perayapan adalah jumlah koneksi simultan yang dapat dibuat Googlebot saat merayapi situs Anda. Karena tidak ingin merusak pengalaman pengguna, Google membatasi jumlah koneksi untuk menjaga kelancaran kinerja situs web/server Anda. Singkatnya, semakin lambat situs web Anda, semakin kecil batas kecepatan perayapan Anda.

Penting: Batas perayapan juga bergantung pada kesehatan SEO situs web Anda secara keseluruhan – jika situs Anda memicu banyak pengalihan, kesalahan 404/410, atau jika server sering mengembalikan kode status 500, jumlah koneksi juga akan turun.

Anda dapat menganalisis data batas kecepatan perayapan dengan informasi yang tersedia di Google Search Console, dalam laporan Statistik Perayapan .

Permintaan perayapan, atau popularitas situs web

Sementara batas kecepatan perayapan mengharuskan Anda untuk memoles detail teknis situs web Anda, permintaan perayapan memberi Anda imbalan atas popularitas situs web Anda. Secara kasar, semakin besar buzz di sekitar situs web Anda (dan di atasnya), semakin besar permintaan perayapannya.

Dalam hal ini, Google mempertimbangkan dua masalah:

1. Popularitas keseluruhan – Google lebih bersemangat untuk menjalankan perayapan sering dari URL yang umumnya populer di Internet (tidak harus yang memiliki backlink dari jumlah URL terbesar).
2. Kebaruan data indeks – Google berusaha untuk hanya menyajikan informasi terbaru. Penting: Membuat lebih banyak dan lebih banyak konten baru tidak berarti bahwa keseluruhan batas anggaran perayapan Anda naik.

Faktor yang mempengaruhi anggaran perayapan

Di bagian sebelumnya, kami mendefinisikan anggaran perayapan sebagai kombinasi batas kecepatan perayapan dan permintaan perayapan. Ingatlah bahwa Anda perlu menjaga keduanya, secara bersamaan, untuk memastikan perayapan yang tepat (dan dengan demikian pengindeksan) situs web Anda.

Di bawah ini Anda akan menemukan daftar poin sederhana yang perlu dipertimbangkan selama pengoptimalan anggaran perayapan

• Server – masalah utama adalah kinerja. Semakin rendah kecepatan Anda, semakin tinggi risiko bahwa Google akan menetapkan lebih sedikit sumber daya untuk mengindeks konten baru Anda.
• Kode respons server – semakin besar jumlah pengalihan 301 dan kesalahan 404/410 di situs web Anda, semakin buruk hasil pengindeksan yang akan Anda dapatkan. Penting: Waspadai pengulangan pengalihan – setiap “lompatan” mengurangi batas kecepatan perayapan situs web Anda untuk kunjungan bot berikutnya.
• Blok di robots.txt – jika Anda mendasarkan arahan robots.txt pada firasat, Anda mungkin akan membuat kemacetan pengindeksan. Hasilnya: Anda akan membersihkan indeks, tetapi dengan mengorbankan efektivitas pengindeksan Anda untuk halaman baru (ketika URL yang diblokir tertanam kuat di dalam struktur seluruh situs web).
• Navigasi faceted / pengidentifikasi sesi / parameter apa pun di URL – yang paling penting, perhatikan situasi di mana alamat dengan satu parameter dapat diparameterisasi lebih lanjut, tanpa batasan. Jika itu terjadi, Google akan mencapai jumlah alamat yang tidak terbatas, menghabiskan semua sumber daya yang tersedia di bagian yang kurang penting dari situs web kami.
• Konten duplikat – konten yang disalin (selain kanibalisasi) secara signifikan merusak efektivitas pengindeksan konten baru.
• Konten Tipis – yang terjadi ketika halaman memiliki rasio teks ke HTML yang sangat rendah. Akibatnya, Google dapat mengidentifikasi halaman tersebut sebagai apa yang disebut Soft 404 dan membatasi pengindeksan kontennya (bahkan ketika konten tersebut bermakna, yang mungkin terjadi, misalnya, pada halaman produsen yang menyajikan satu produk dan tidak ada produk unik isi teks).
• Tautan internal yang buruk atau kekurangannya .

Alat yang berguna untuk analisis anggaran perayapan

Karena tidak ada patokan untuk anggaran perayapan (yang berarti sulit untuk membandingkan batas antar situs web), bersiaplah dengan seperangkat alat yang dirancang untuk memfasilitasi pengumpulan dan analisis data.

Google Search Console

GSC telah tumbuh dengan baik selama bertahun-tahun. Selama analisis anggaran perayapan, ada dua laporan utama yang harus kita perhatikan: Cakupan Indeks dan Statistik perayapan.

Cakupan Indeks di GSC

Laporan adalah sumber data yang sangat besar. Mari kita periksa informasi tentang URL yang dikecualikan dari pengindeksan. Ini adalah cara yang bagus untuk memahami skala masalah yang Anda hadapi.

Seluruh laporan menjamin artikel terpisah, jadi untuk saat ini, mari kita fokus pada informasi berikut:

• Dikecualikan oleh tag 'noindex' – Secara umum, lebih banyak halaman noindex berarti lebih sedikit lalu lintas. Yang menimbulkan pertanyaan – apa gunanya menyimpannya di situs web? Bagaimana cara membatasi akses ke halaman ini?
• Dirayapi – saat ini tidak diindeks – jika Anda melihatnya, periksa apakah konten dirender dengan benar di mata Googlebot. Ingatlah bahwa setiap URL dengan status itu membuang anggaran perayapan Anda karena tidak menghasilkan lalu lintas organik.
• Ditemukan – saat ini tidak diindeks – salah satu masalah yang lebih mengkhawatirkan yang layak diletakkan di urutan teratas daftar prioritas Anda.
• Duplikat tanpa kanonik yang dipilih pengguna – semua halaman duplikat sangat berbahaya karena tidak hanya merugikan anggaran perayapan Anda, tetapi juga meningkatkan risiko kanibalisasi.
• Duplikat, Google memilih kanonik yang berbeda dari pengguna – secara teoritis, tidak perlu khawatir. Bagaimanapun, Google harus cukup pintar untuk membuat keputusan yang tepat sebagai pengganti kita. Yah, pada kenyataannya, Google memilih kanoniknya secara acak - sering kali memotong halaman berharga dengan kanonik yang menunjuk ke beranda.
• Soft 404 – semua kesalahan “lunak” sangat berbahaya karena dapat menyebabkan penghapusan halaman penting dari indeks.
• Duplikat, URL yang dikirimkan tidak dipilih sebagai kanonik – mirip dengan pelaporan status tentang kurangnya kanonik yang dipilih pengguna.

Statistik perayapan

Laporannya tidak sempurna dan sejauh rekomendasi berjalan, saya sangat menyarankan bermain juga dengan log server lama yang bagus, yang memberikan wawasan lebih dalam tentang data (dan lebih banyak opsi pemodelan).

Seperti yang sudah saya katakan, Anda akan kesulitan mencari tolok ukur untuk angka-angka di atas. Namun, ada baiknya untuk melihat lebih dekat:

• Waktu pengunduhan rata-rata. Tangkapan layar di bawah ini menunjukkan bahwa waktu respons rata-rata mengalami pukulan dramatis, yang disebabkan oleh masalah terkait server:

• Respon perayapan. Lihat laporan untuk melihat, secara umum, apakah Anda memiliki masalah dengan situs web Anda atau tidak. Perhatikan baik-baik kode status server atipikal, seperti 304 di bawah ini. URL ini tidak memiliki tujuan fungsional, namun Google menyia-nyiakan sumber dayanya untuk merayapi kontennya.

• Tujuan merangkak. Secara umum, data ini sangat bergantung pada volume konten baru di situs web. Perbedaan antara informasi yang dikumpulkan oleh Google dan pengguna bisa sangat menarik:

Isi URL yang di-crawl ulang di mata Google:

Sementara itu, inilah yang dilihat pengguna di browser:

Pasti alasan untuk pemikiran dan analisis :)

• Jenis Googlebot . Di sini Anda memiliki bot yang mengunjungi situs web Anda di piring perak, bersama dengan motivasi mereka untuk menguraikan konten Anda. Tangkapan layar di bawah menunjukkan bahwa 22% permintaan merujuk pada pemuatan sumber daya halaman.

Total menggelembung di hari-hari terakhir dari kerangka waktu:

Melihat detailnya mengungkapkan URL yang membutuhkan perhatian lebih:

Perayap eksternal (dengan contoh dari Screaming Frog SEO Spider)

Perayap adalah salah satu alat terpenting untuk menganalisis anggaran perayapan situs web Anda. Tujuan utama mereka adalah untuk meniru gerakan bot perayapan di situs web. Simulasi menunjukkan sekilas jika semuanya berjalan lancar.

Jika Anda seorang pembelajar visual, Anda harus tahu bahwa sebagian besar solusi yang tersedia di pasar menawarkan visualisasi data.

Dalam contoh di atas, titik merah berarti halaman yang tidak diindeks. Luangkan waktu untuk mempertimbangkan kegunaan dan dampaknya pada operasi situs. Jika log server mengungkapkan bahwa halaman-halaman ini membuang banyak waktu Google sambil tidak menambahkan nilai apa pun – inilah saatnya untuk secara serius meninjau kembali tujuan menyimpannya di situs web.

Penting : Jika kita ingin membuat ulang perilaku Googlebot seakurat mungkin, pengaturan yang tepat adalah suatu keharusan. Di sini Anda dapat melihat contoh pengaturan dari komputer saya:

Saat melakukan analisis mendalam, ada baiknya menguji dua mode – Hanya Teks, tetapi juga JavaScript – untuk membandingkan perbedaan (jika ada).

Akhirnya, tidak ada salahnya untuk menguji pengaturan yang disajikan di atas pada dua agen pengguna yang berbeda:

Dalam kebanyakan kasus, Anda hanya perlu fokus pada hasil yang dirayapi/dirender oleh agen seluler.

Penting: Saya juga menyarankan untuk menggunakan kesempatan yang disediakan oleh Screaming Frog dan memberi makan crawler Anda dengan data dari GA dan Google Search Console. Integrasi adalah cara cepat untuk mengidentifikasi pemborosan anggaran perayapan, seperti kumpulan besar URL yang berpotensi berlebihan yang tidak menerima lalu lintas.

Alat untuk analisis log (Screaming Frog Logfile dan lainnya)

Pilihan penganalisis log server adalah masalah preferensi pribadi. Alat yang saya gunakan adalah Screaming Frog Log File Analyzer. Ini mungkin bukan solusi yang paling efisien (memuat paket besar log = menggantung aplikasi), tapi saya suka antarmukanya. Bagian yang penting adalah memesan sistem untuk hanya menampilkan Googlebot yang diverifikasi.

Alat untuk pelacakan visibilitas

Bantuan yang bermanfaat, karena memungkinkan Anda mengidentifikasi halaman teratas Anda. Jika sebuah halaman berperingkat tinggi untuk banyak kata kunci di Google (= menerima banyak lalu lintas), itu berpotensi memiliki permintaan perayapan yang lebih besar (periksa di log – apakah Google benar-benar menghasilkan lebih banyak klik untuk halaman khusus ini?).

Untuk tujuan kami, kami memerlukan laporan umum di Senuto – Jalur dan URL – untuk peninjauan lanjutan di masa mendatang. Kedua laporan tersedia di Analisis Visibilitas, tab Bagian. Lihat:

Titik perhatian utama kami adalah laporan kedua. Mari kita urutkan untuk melihat visibilitas kata kunci kami (daftar dan jumlah total kata kunci yang peringkat situs web kami di TOP 10). Hasilnya akan membantu kami mengidentifikasi poros utama untuk stimulasi (dan alokasi yang efisien) dari anggaran perayapan kami.

Alat untuk analisis backlink (Ahrefs, Majestic)

Jika salah satu halaman Anda memiliki jumlah tautan masuk yang tinggi, gunakan itu sebagai pilar strategi pengoptimalan anggaran perayapan Anda. Halaman populer dapat mengambil peran sebagai hub yang mentransfer jus lebih jauh. Selain itu, halaman populer dengan kumpulan tautan berharga yang layak memiliki peluang lebih baik untuk menarik perayapan yang sering.

Di Ahrefs, kami membutuhkan laporan Halaman, dan tepatnya, bagiannya yang berjudul: “Terbaik menurut tautan”:

Contoh di atas menunjukkan bahwa beberapa LP terkait konser terus menghasilkan statistik yang solid untuk backlink. Bahkan dengan semua konser dibatalkan karena pandemi, masih bermanfaat untuk menggunakan halaman yang kuat secara historis untuk membangkitkan rasa ingin tahu bot crawling dan menyebarkan jus ke sudut yang lebih dalam dari situs web Anda.

Apa saja tanda-tanda masalah anggaran perayapan?

Kesadaran bahwa Anda sedang berhadapan dengan anggaran perayapan yang bermasalah (sangat rendah) tidak mudah. Mengapa? Pada prinsipnya, karena SEO adalah perusahaan yang sangat kompleks. Peringkat rendah atau masalah pengindeksan mungkin juga merupakan konsekuensi dari profil tautan yang biasa-biasa saja atau kurangnya konten yang tepat di situs web.

Biasanya, diagnostik anggaran perayapan melibatkan pemeriksaan:

• Berapa lama waktu berlalu dari publikasi ke pengindeksan halaman baru (postingan blog / produk), dengan asumsi Anda tidak meminta pengindeksan melalui Google Search Console?
• Berapa lama Google menyimpan URL yang tidak valid dalam indeksnya? Penting: alamat yang dialihkan adalah pengecualian – Google menyimpannya dengan sengaja.
• Apakah Anda memiliki halaman yang masuk ke indeks hanya untuk diturunkan nanti?
• Berapa banyak waktu yang dihabiskan Google di halaman yang gagal menghasilkan nilai (lalu lintas)? Pergi ke analisis log untuk mencari tahu.

Bagaimana cara menganalisis dan mengoptimalkan anggaran perayapan?

Keputusan untuk terjun ke pengoptimalan anggaran perayapan terutama ditentukan oleh ukuran situs web Anda. Google menyarankan bahwa secara umum, situs web yang memiliki kurang dari 1000 halaman tidak perlu bersusah payah untuk memaksimalkan batas perayapan yang tersedia. Dalam buku saya, Anda harus mulai berjuang untuk perayapan yang lebih efisien dan efektif jika situs web Anda mencakup lebih dari 300 halaman dan konten Anda berubah secara dinamis (misalnya, Anda terus menambahkan halaman/posting blog baru).

Mengapa? Ini masalah kebersihan SEO. Terapkan kebiasaan pengoptimalan yang baik dan manajemen anggaran perayapan yang baik di hari-hari awal, dan Anda akan memiliki lebih sedikit untuk memperbaiki dan mendesain ulang di masa mendatang.

Mengoptimalkan anggaran perayapan. Prosedur standar

Secara umum, pekerjaan analisis dan optimasi anggaran perayapan terdiri dari tiga tahap:

1. Pengumpulan data, yaitu proses mengumpulkan semua yang kita ketahui tentang situs web – baik dari webmaster maupun alat eksternal.
2. Analisis visibilitas dan identifikasi buah menggantung rendah. Apa yang berjalan seperti jarum jam? Apa yang bisa lebih baik? Daerah mana yang memiliki potensi pertumbuhan tertinggi?
3. Rekomendasi untuk anggaran perayapan.

Pengumpulan data untuk audit anggaran perayapan

1. Perayapan situs web lengkap dilakukan dengan salah satu alat yang tersedia secara komersial. Tujuannya adalah untuk menyelesaikan minimal dua perayapan: yang pertama mensimulasikan Googlebot, sementara yang lain mengambil situs web sebagai agen pengguna default (agen pengguna browser akan melakukannya). Pada tahap ini, Anda hanya tertarik untuk mengunduh 100% konten . Jika Anda melihat bahwa perayap mengalami loop (ketika, setelah seharian merayapi, kami hanya memiliki 10% situs web di hard drive kami) – beri tahukan bahwa ada masalah dan Anda dapat menghentikan perayapan. Jumlah URL yang masuk akal untuk analisis, dalam kasus situs web besar, adalah sekitar 250–300 ribu halaman.

a) Apa yang kami cari terutama adalah pengalihan 301 internal, kesalahan 404, tetapi juga situasi di mana teks Anda dapat dikategorikan sebagai konten tipis. Screaming Frog memiliki opsi untuk mendeteksi konten yang hampir duplikat:

2. Log server . Kerangka waktu yang ideal harus mencakup bulan terakhir, namun, dalam kasus situs web besar, dua minggu terakhir mungkin terbukti cukup. Dalam skenario terbaik, kita harus memiliki akses ke log server historis untuk membandingkan pergerakan Googlebot pada saat semuanya berjalan lancar.

3. Ekspor data dari Google Search Console . Dikombinasikan dengan poin 1 dan 2 di atas, data dari Cakupan Indeks dan Statistik Perayapan akan memberi Anda gambaran yang cukup komprehensif tentang semua kejadian di situs web Anda.

4. Data lalu lintas organik . Halaman teratas seperti yang ditentukan oleh Google Search Console, Google Analytics, serta Senuto dan Ahrefs. Kami ingin mengidentifikasi semua halaman yang menonjol di antara orang banyak dengan statistik visibilitas tinggi, volume lalu lintas, atau jumlah backlink. Halaman-halaman ini harus menjadi tulang punggung pekerjaan Anda pada anggaran perayapan. Kami akan menggunakannya untuk meningkatkan perayapan halaman yang paling penting.

5. Tinjauan indeks manual . Dalam beberapa kasus, sahabat ahli SEO adalah solusi sederhana. Dalam hal ini: review data diambil langsung dari indeks! Ini adalah panggilan yang baik untuk memeriksa situs web Anda dengan kombinasi inurl: + site: operator.Akhirnya, kita perlu menggabungkan semua data yang dikumpulkan. Biasanya, kami akan menggunakan perayap eksternal dengan fitur yang memungkinkan impor data eksternal (data GSC, log server, dan data lalu lintas organik).

Analisis visibilitas dan buah gantung rendah

Prosesnya membutuhkan artikel terpisah, tetapi tujuan kami hari ini adalah untuk mendapatkan gambaran menyeluruh tentang tujuan kami untuk situs web dan kemajuan yang dibuat. Kami tertarik pada segala sesuatu yang tidak biasa: penurunan lalu lintas yang tiba-tiba (yang tidak dapat dijelaskan oleh tren musiman) dan pergeseran bersamaan dalam visibilitas organik. Kami sedang memeriksa grup halaman mana yang paling kuat karena mereka akan menjadi HUBS kami untuk mendorong Googlebot lebih dalam ke situs web kami.

Di dunia yang sempurna, pemeriksaan semacam itu harus mencakup seluruh riwayat situs web kami sejak diluncurkan. Namun, karena volume data terus bertambah setiap bulan, mari fokus pada analisis visibilitas dan lalu lintas organik dari periode 12 bulan terakhir.

Anggaran perayapan – rekomendasi kami

Aktivitas yang tercantum di atas akan berbeda tergantung pada ukuran situs web yang dioptimalkan. Namun, mereka adalah elemen terpenting yang selalu saya pertimbangkan saat melakukan analisis anggaran perayapan. Tujuan utamanya adalah untuk menghilangkan kemacetan di situs web Anda. Dengan kata lain, untuk menjamin kemampuan perayapan maksimum untuk Googlebots (atau agen pengindeksan lainnya).

1. Mari kita mulai dari dasar – penghapusan segala macam kesalahan 404/410, analisis pengalihan internal dan penghapusannya dari tautan internal . Kita harus mengakhiri pekerjaan kita dengan perayapan terakhir. Kali ini, semua tautan harus mengembalikan kode respons 200, tanpa pengalihan internal atau kesalahan 404.

• Pada tahap ini, ada baiknya untuk memperbaiki semua rantai pengalihan yang terdeteksi dalam laporan backlink.

2. Setelah di-crawl, pastikan struktur website kita bebas dari duplikat yang mencolok .

• Periksa kemungkinan kanibalisasi juga – terlepas dari masalah yang timbul dari penargetan kata kunci yang sama dengan beberapa halaman (singkatnya, Anda berhenti mengontrol halaman mana yang akan ditampilkan oleh Google), kanibalisasi berdampak negatif pada seluruh anggaran perayapan Anda.
• Konsolidasikan duplikat yang teridentifikasi ke dalam satu URL (biasanya yang berperingkat lebih tinggi).

3. Periksa berapa banyak URL yang memiliki tag noindex . Seperti yang kita ketahui, Google masih dapat menavigasi halaman tersebut. Mereka hanya tidak muncul di hasil pencarian. Kami mencoba meminimalkan pembagian tag noindex dalam struktur situs web kami.

• Contoh kasus – sebuah blog mengatur strukturnya dengan tag; penulis mengklaim bahwa solusinya ditentukan oleh kenyamanan pengguna. Setiap posting diberi label dengan 3-5 tag, ditetapkan secara tidak konsisten dan tidak diindeks. Analisis log mengungkapkan bahwa ini adalah struktur ketiga yang paling banyak dirayapi di situs web.

4. Tinjau robots.txt . Ingat bahwa menerapkan robots.txt tidak berarti bahwa Google tidak akan menampilkan alamat di indeks.

• Periksa struktur alamat mana yang diblokir yang masih dirayapi. Mungkin memotongnya menyebabkan kemacetan?
• Hapus arahan yang sudah ketinggalan zaman/tidak perlu.

5. Analisis volume URL non-kanonik di situs web Anda. Google tidak lagi menganggap rel=”canonical” sebagai arahan keras. Dalam banyak kasus, atribut tersebut benar-benar diabaikan oleh mesin pencari (pengurutan parameter dalam indeks – masih merupakan mimpi buruk).

6. Analisis filter dan mekanisme dasarnya . Memfilter daftar adalah masalah terbesar dalam pengoptimalan anggaran perayapan. Pemilik bisnis e-niaga bersikeras menerapkan filter yang berlaku dalam kombinasi apa pun (misalnya, memfilter berdasarkan warna + bahan + ukuran + ketersediaan… untuk kesekian kalinya). Solusinya tidak optimal dan harus dibatasi seminimal mungkin.

7. Arsitektur informasi di situs web – arsitektur yang mempertimbangkan tujuan bisnis, potensi lalu lintas, dan profil tautan saat ini. Mari kita bekerja dengan asumsi bahwa tautan ke konten yang penting untuk sasaran bisnis kita harus terlihat di seluruh situs (di semua laman) atau di beranda. Kami menyederhanakan di sini, tentu saja, tetapi beranda dan menu teratas / tautan di seluruh situs adalah indikator paling kuat dalam membangun nilai dari tautan internal. Pada saat yang sama, kami mencoba untuk mencapai penyebaran domain yang optimal: tujuan kami adalah situasi di mana kami dapat memulai perayapan dari halaman mana pun dan masih mencapai jumlah halaman yang sama (setiap URL harus memiliki satu tautan masuk MINIMUM) .

• Bekerja menuju arsitektur informasi yang kuat adalah salah satu elemen kunci dari pengoptimalan anggaran perayapan. Ini memungkinkan kita untuk membebaskan beberapa sumber daya bot dari satu lokasi dan mengarahkannya ke lokasi lain. Ini juga merupakan salah satu tantangan terbesar, karena membutuhkan kerja sama dari pemangku kepentingan bisnis – yang sering menyebabkan pertempuran besar dan kritik yang merusak rekomendasi SEO.

8. Render konten. Penting dalam kasus situs web yang bertujuan untuk mendasarkan tautan internal mereka pada sistem rekomendasi yang menangkap perilaku pengguna. Di atas segalanya, sebagian besar alat ini bergantung pada file cookie. Google tidak menyimpan cookie, sehingga tidak mendapatkan hasil yang disesuaikan. Hasilnya: Google selalu melihat konten yang sama atau tidak ada konten sama sekali.

• Ini adalah kesalahan umum untuk mencegah Googlebot mengakses konten JS/CSS penting. Langkah ini dapat menyebabkan masalah dengan pengindeksan halaman (dan membuang waktu Google untuk merender konten yang tidak tersedia).

9. Performa situs web – Data Web Inti . Sementara saya skeptis tentang dampak CWV pada peringkat situs (karena berbagai alasan, termasuk keragaman perangkat yang tersedia secara komersial dan berbagai kecepatan koneksi Internet), ini adalah salah satu parameter yang paling layak didiskusikan dengan pembuat kode.

10. Sitemap.xml – periksa apakah berfungsi dan berisi semua elemen kunci (tidak lain adalah URL kanonik yang mengembalikan kode status 200).

• Rekomendasi pertama saya untuk mengoptimalkan sitemap.xml adalah membagi halaman Anda berdasarkan jenis atau – jika memungkinkan – kategori. Divisi ini akan memberi Anda kendali penuh atas pergerakan dan indeksasi konten Google.