Ce este bugetul de crawl și cum îl optimizați pentru SEO?

LA FATJOE, ne străduim să creăm conținut de calitate pentru paginile web și să asigurăm legături puternice către acele pagini.

Dar cum găsesc acele pagini motoarele de căutare precum Google? Răspunsul este târât.

Crawlerele Google accesează site-uri web, urmăresc linkuri și analizează conținutul din fiecare pagină pentru a adăuga adresa URL la indexul acesteia.

Bugetul de accesare cu crawlere reprezintă resursele pe care motoarele de căutare le aloca pentru accesarea cu crawlere a paginilor web într-un interval de timp specific. Acesta determină câte pagini de pe site-ul dvs. vor accesa cu crawlere boții și cât de des vor reveni.

Gestionarea bugetului de accesare cu crawlere este foarte importantă pentru proprietarii de site-uri web și echipele SEO,în special pentru cele cu site-uri mari .

Prin optimizarea bugetului de accesare cu crawlere, vă puteți asigura că motoarele de căutare indexează paginile importante ale site-ului dvs. Acest lucru vă poate îmbunătăți vizibilitatea în rezultatele căutării și vă poate asigura că motoarele de căutare văd conținutul .

În acest ghid, vom acoperi:

• Ce este bugetul de crawl
• Cum functioneaza
• De ce contează pentru SEO
• Cum să măriți bugetul de accesare cu crawlere

Ce este Bugetul Crawl?

Bugetul de accesare cu crawlere reprezintă resursele pe care motoarele de căutare le oferă unui site web pentru accesarea cu crawlere și indexarea paginilor sale web.

Este o mare problemă în optimizarea motoarelor de căutare (SEO), deoarece determină cât de eficient Google și alte motoare de căutare pot găsi și include paginile dvs. în rezultatele căutării.

De ce motoarele de căutare atribuie bugete de accesare cu crawlere?

Google are propriul crawler numit GoogleBot, care explorează și indexează pagini web.

Dar internetul este imens.

Google nu are nicio modalitate de a accesa cu crawlere și de a indexafiecarepagină de pefiecaresite web.

Așadar, pentru a se asigura că ajunge la paginile cele mai relevante pentru utilizatorii de căutare, Google alocă site-urilor web bugete de accesare cu crawlere.

Este același lucru și pentru motoarele de căutare care nu sunt Google, dar ne vom concentra pe Google, dat fiindcă este Google.

Care sunt diferitele tipuri de crawlere Google?

Motoarele de căutare au diferite tipuri de crawler-uri pentru a aduna informații despre paginile web. Am rezumat aici principalele tipuri de crawler și fetcher:

GoogleBot

Acesta este principalul crawler folosit de Google pentru descoperirea și indexarea paginilor web. Se uită la tot conținutul HTML, urmărește link-uri și analizează conținutul paginilor web.

Crawler cu caz special

Aceste crawler-uri sunt utilizate pentru sarcini specifice, cum ar fi colectarea de informații de accesibilitate. Crawlerele în cazuri speciale pot respecta sau nu regulile robots.txt.

Căutări declanșate de utilizator

Acest tip de crawler este utilizat atunci când un utilizator final declanșează o preluare. De exemplu, unele instrumente Google Search Console vor trimite solicitări de preluare pe baza acțiunilor utilizatorului. Preluările declanșate de utilizator ignoră, în general, regulile robots.txt.

Google News Crawler

Acesta este axat pe accesarea cu crawlere a conținutului legat de știri. Acesta adună cele mai recente informații despre știri și se asigură că acestea apar în rezultatele căutării Google și pe platforma Google News.

Google Image Crawler

După cum sugerează și numele, acest crawler se referă la imagini. Răsfoiește internetul pentru a găsi imagini și analizează lucruri precum text alternativ, subtitrări și nume de fișiere pentru a înțelege contextul.

Google Video Crawler

Similar cu crawler-ul de imagini, acesta este dedicat descoperirii și indexării conținutului video. Se uită la metadatele video, subtitrările și alte informații.

Pentru un rezumat mai cuprinzător al fiecărui crawler și program de preluare Google (inclusiv simbolul agentului utilizator și cazul de utilizare), treceți mai departe până la sfârșit pentru tabelul nostru util!

Accesarea cu crawlere pe mobil mai întâi

Deoarece tot mai mulți oameni folosesc dispozitive mobile pentru a naviga pe internet, Google a trecut la indexarea în primul rând pe mobil.

Google folosește un agent de smartphone pentru a accesa cu crawlere și a indexa versiunea mobilă a site-urilor web, înaintea versiunii desktop. Asigurarea faptului că site-ul dvs. web răspunde la dispozitivele mobile este esențială pentru posibilitatea de accesare cu crawlere a site-ului dvs. și pentru optimizarea bugetului de accesare cu crawlere.

Motorul de căutare a finalizat recent trecerea în bloc finală la indexarea pe dispozitive mobile în mai 2023:

Google realizează un alt lot de indexare în bloc pentru dispozitive mobile pe 22 mai 2023 - finalizează o tranziție la Căutarea cu crawlere ca și cum ar fi un browser mobil, 6 ani de lucru! https://t.co/9CxsrRFkcE

– Michael Stricker (@RadioMS) 22 mai 2023

Cum atribuie Google un buget de accesare cu crawlere?

Bugetul de accesare cu crawlere se bazează pe doi factori: limita capacității de accesare cu crawlere și cererea de accesare cu crawlere.

Limită de capacitate de accesare cu crawlere

Motoarele de căutare monitorizează cum funcționează serverul unui site web și cât de repede răspunde. Aceștia ajustează limita capacității de accesare cu crawlere în funcție de performanța serverului.

Limita este, de asemenea, afectată de resursele de crawling disponibile în orice moment și de preferințele proprietarului site-ului web.

Puteți ajusta manual limita ratei de accesare cu crawlere din pagina Setări pentru rata de accesare cu crawlere din Google Search Console.

Dacă întâmpinați probleme de disponibilitate, puteți reduce frecvența accesării cu crawlere.

Dar creșterea manuală a acestuia nu va face ca Google să vină și să vă acceseze cu crawlere site-ul mai repede.De asemenea, nu puteți influența cepagini va accesa cu crawlere Google.

Cererea de accesare cu crawlere

Cererea de accesare cu crawlere ajută motoarele de căutare să decidă ce pagini să acceseze cu crawlere mai des.

Ia în considerare lucruri precum dimensiunea site-ului, cât de des este actualizată o pagină și valoarea percepută a paginii.

Problemele tehnice SEO pot afecta, de asemenea, cererea de accesare cu crawlere.

Bugetul de accesare cu crawlere include numai paginile web?

Nu, bugetul de accesare cu crawlerenu se referă doar la pagini .

Vorbim cu adevărat despre orice document pe care motoarele de căutare îl accesează cu crawlere și despre toate elementele diferite care există pe o pagină. Acestea includ lucruri precum fișiere JavaScript și CSS, variante de pagini mobile, date structurate și fișiere PDF.

Cum funcționează limita de crawl?

Limita de accesare cu crawlere se referă la menținerea unui echilibru între accesarea cu crawlere și resursele serverului.

Când accesează cu crawlere un site web, motoarele de căutare monitorizează modul în care serverul răspunde. Dacă serverul răspunde rapid, rata de accesare cu crawlere poate crește.

Dacă serverul prezintă semne de tensiune, motorul de căutare poate reduce rata de accesare cu crawlere pentru a ușura încărcarea serverului.

Proprietarii de site-uri web pot implementa, de asemenea, întârzieri de accesare cu crawlere în fișierul robots.txt al site-ului. Acest lucru indică crawlerilor să întrerupă o anumită perioadă între solicitările consecutive către site.

Cum funcționează cererea de crawl?

Cererea de accesare cu crawlere este o măsură a cât de importantă este o pagină pentru GoogleBot.

Motoarele de căutare acordă atenție structurii de legături interne, linkurilor externe și semnalelor de implicare a utilizatorilor pentru a determina care pagini au o cerere mai mare de accesare cu crawlere.

Iată cum este descris pe Google Search Central:

Backlink-urile sunt un semnal că o pagină web este de încredere, populară și merită accesată cu crawlere.

Site-urile web cu multe backlink-uri de înaltă calitate din surse autorizate beneficiază de un buget de accesare cu crawlere mai mare .

De asemenea, Google dorește să ofere utilizatorilor rezultate de căutare actualizate, așa că acordă prioritate accesării cu crawlere și indexării conținutului proaspăt.

De ce este important bugetul de crawl pentru SEO?

Bugetul de accesare cu crawlere afectează direct modul în care motoarele de căutare descoperă și indexează paginile site-ului dvs.

Dar merită remarcat faptul că doar bugetul de accesare cu crawlere nu este un factor de clasare.

De asemenea, este ceva care nu afectează de obicei site-urile mai mici.

Într-un videoclip recent , Avocatul Căutării Google Daniel Waisberg a dezvăluit:

„Este mai relevant dacă lucrezi cu un site web mare.Dacă aveți un site cu mai puțin de câteva mii de pagini, nu trebuie să vă faceți griji pentru asta.”

Trebuie să vă faceți griji cu privire la bugetul de accesare cu crawlere doar dacă aveți un site web mare sau un magazin de comerț electronic cu un număr mare de pagini.

Bugetul de accesare cu crawlere poate afecta sau poate fi afectat de următoarele:

Vizibilitate în rezultatele căutării

Când bugetul de accesare cu crawlere este limitat, Google poate dura mai mult să acceseze cu crawlere și să clasifice paginile și conținutul noi. Dacă Google nu găsește o pagină din cauza unor probleme legate de bugetul de accesare cu crawlere, aceasta nu va apărea în rezultatele căutării .

Structura site-ului

Dacă irosești bugetul de accesare cu crawlere având o serie de pagini duplicate sau cu valoare redusă, Google se va strădui să înțeleagă care pagini sunt importante. GoogleBot va petrece timp accesând cu crawlere părți ale site-ului dvs. care nu vă vor ajuta să vă clasificați pentru cuvintele cheie țintă.

O structură bună a site-ului ajută motoarele de căutare să determine relațiile dintre paginile tale, care, la rândul lor, pot construi SEO semantic.

Autoritate de actualitate

Prioritizarea accesării cu crawlere a paginilor importante și concentrarea pe conținut de înaltă calitate vă poate spori autoritatea de actualitate.

Îți crește șansele de a te clasa mai sus pentru termenii de căutare relevanți.

Canibalizarea cuvintelor cheie

Canibalizarea cuvintelor cheie este atunci când două pagini de pe un site web concurează pentru aceleași cuvinte cheie în rezultatele căutării.

Optimizarea bugetului de accesare cu crawlere vă ajută să evitați acest lucru.

Organizarea structurii site-ului dvs. și evitarea conținutului duplicat face ca Google să acceseze cu crawlere site-ul dvs. și să vă înțeleagă conținutul, asigurându-vă în același timp că paginile dvs. sunt unice și evită concurența între ele în rezultatele căutării.

Cum optimizați bugetul de accesare cu crawlere pentru SEO?

Deci, cum puteți optimiza bugetul de accesare cu crawlere pentru rezultate SEO mai bune?

Iată șase strategii pe care le puteți implementa:

Strategia 1: Aruncă o privire la jurnalele serverului tău și la raportul privind statisticile de accesare cu crawlere

Începeți prin a analiza fișierele jurnal ale serverului.

Aceste jurnale conțin informații valoroase despre modul în care crawlerele motoarelor de căutare interacționează cu site-ul dvs. web. Puteți afla ce pagini sunt accesate cu crawlere, cât de des sunt accesate și dacă apar erori de accesare cu crawlere.

Raportul Statistici de accesare cu crawlere din Google Search Console poate oferi, de asemenea, informații utile.

Puteți vedea diagrama cu tendințele de accesare cu crawlere, detalii despre starea gazdei și o defalcare a solicitării de accesare cu crawlere.

Strategia 2: Măriți-vă bugetul de accesare cu crawlere

Deși nu puteți avea control direct asupra bugetului de accesare cu crawlere alocat de motoarele de căutare, îl puteți influența în continuare.

Cheia este să îmbunătățiți calitatea generală și relevanța site-ului dvs.

Iată o detaliere a lui Peter Nikolow, CEO Mobilo:

„Buget de accesare cu crawlere” și site-ul dvs.:

– Bugetul de accesare cu crawlere – cererea de accesare cu crawlere vs capacitate vs necesitate

Creșteți cererea – creați un site minunat
Creșteți capacitatea – faceți site rapid
Reduceți necesitatea – mai puține adrese URL sunt mai bune#WMCZRH

– Peter Nikolow (@PeterNikolow) 11 decembrie 2019

Iată cum puteți pune în practică acest sfat:

Publicați în mod regulat conținut proaspăt și de înaltă calitate

Menținerea site-ului dvs. web actualizat cu conținut proaspăt arată motoarelor de căutare că site-ul dvs. este activ.

Semnalează motoarele de căutare că conținutul dvs. oferă informații valoroase, ceea ce poate crește bugetul de accesare cu crawlere al site-ului dvs.

Îmbunătățiți timpul de încărcare a paginii

Paginile cu încărcare lentă pot împiedica procesul de accesare cu crawlere și indexare.

Iată cum îl descrie Google:

Dacă paginile dvs. se încarcă rapid, Google vă poate explora mai multe site-uri și vă poate indexa mai multe pagini.

Lucrați la comprimarea imaginilor și la utilizarea tehnicilor de stocare în cache pentru a îmbunătăți viteza site-ului.

Asigurați compatibilitatea cu dispozitivele mobile

Google folosește versiunea mobilă a site-ului dvs. pentru indexare și clasare.

Prin urmare, este esențial să aveți un site web prietenos cu dispozitivele mobile.

Iată câteva sfaturi de pe blogul Google Search Central:

Strategia 3: Întreținerea site-ului: Reduceți erorile

Link-urile întrerupte, 404 pagini și erorile de server pot încetini crawlerele motoarelor de căutare și pot distruge bugetul de accesare cu crawlere.

Acestea ar putea include linkuri întrerupte care nu duc la nicăieri, pagini care nu pot fi găsite sau probleme de server care cauzează întreruperi.

Efectuați audituri de rutină a site-urilor web pentru a identifica paginile care nu sunt accesate cu crawlere corect sau care cauzează erori.

Strategia 4: Blocați accesul crawlerelor la părți ale site-ului dvs

Uneori, este posibil să aveți părți ale site-ului dvs. web care nu sunt cu adevărat relevante pentru motoarele de căutare pentru a le accesa cu crawlere sau a le indexa.

Gândiți-vă la paginile de administrare și la conținut duplicat.

Puteți folosi fișierul „robots.txt” pentru a le spune crawlerilor motoarelor de căutare să evite aceste secțiuni.

În acest fel, GoogleBot se poate concentra pe explorarea și indexarea paginilor importante ale site-ului dvs.

Strategia 5: Reduceți lanțurile de redirecționare

Lanțurile de redirecționare vă pot consuma bugetul de accesare cu crawlere.

GoogleBot trebuie să navigheze în mai multe redirecționări la rând înainte de a ajunge în cele din urmă la adresa URL de destinație.

Toate acele redirecționări inutile ocupă bugetul de accesare cu crawlere fără a oferi nicio valoare suplimentară.

Sfat tehnic SEO: Fiecare redirecționare pe care o adăugați încetinește site-ul dvs.

Adăugarea prea multor redirecționări poate avea un impact negativ asupra Time To First Byte al site-ului dvs.: pic.twitter.com/hzW8ehgRMg

– Chris Long (@gofishchris) 1 iunie 2023

Minimizarea lanțurilor de redirecționare poate ajuta motoarele de căutare să ajungă mai repede la paginile de destinație. Face călătoria de la punctul A la punctul B mai ușoară atât pentru crawleri, cât și pentru utilizatori.

Strategia 6: Obțineți mai multe legături interne și externe

Obținerea mai multor backlink-uri de la site-uri web de încredere poate crește vizibilitatea și autoritatea site-ului dvs.

Pe măsură ce motoarele de căutare vă recunosc ca o sursă autorizată, va fi mai probabil să aloce o parte mai mare din bugetul de accesare cu crawlere site-ului dvs.

Legătura internă este, de asemenea, importantă.

Una dintre cele mai mari pierderi de buget de accesare cu crawlere sunt paginile orfane.

Acestea sunt pagini web care nu au link-uri interne sau link-uri externe care să trimită către ele.

Potrivit unui studiu recent realizat de Botify, paginile care nu sunt conectate consumă 26% din bugetul de accesare cu crawlere Google:

Sursa: Botify

Linkurile interne contextuale ajută GoogleBot să găsească și să indexeze toate paginile de pe site-ul dvs.

Puteți utiliza mai eficient bugetul de accesare cu crawlere, asigurându-vă că fiecare pagină pe care doriți să o indexați are cel puțin un link intern care indică către ea.

Profitați la maximum de bugetul de accesare cu crawlere al site-ului dvs

Optimizarea bugetului cu crawl este o parte importantă a unei strategii SEO de succes.

Este vorba despre a face totul cât mai ușor posibil pentru GoogleBot. Înțelegând cum funcționează bugetul de accesare cu crawlere și cum să îl optimizați, vă puteți asigura că Google accesează cu crawlere și indexează paginile dvs. cât mai des posibil.

Acest lucru vă va îmbunătăți vizibilitatea în rezultatele căutării și vă va ajuta să atrageți mai mult trafic organic.

Depuneți timp, efort și bani pentru a produce pagini web de înaltă calitate, cu conținut grozav; asigurați-vă că nu este o muncă irosită, asigurându-vă că paginile dvs. pot fi accesate cu crawlere și pot fi văzute de motoarele de căutare.

În cele din urmă, sunteți după o defalcare completă a tuturor crawler-urilor Google , inclusiv a simbolului agentului de utilizator și a cazului lor de utilizare? Consultați infograficul nostru la îndemână de mai jos!