¿Qué es el presupuesto de rastreo y cómo optimizarlo?

Un presupuesto de rastreo puede parecer un concepto extraño cuando aprende por primera vez cómo funcionan los bots de los motores de búsqueda. Si bien no es el concepto de SEO más fácil, son menos complicados de lo que parecen. Una vez que comience a comprender qué es un presupuesto de rastreo y cómo funciona el rastreo del motor de búsqueda, puede comenzar a optimizar su sitio web para optimizar la capacidad de rastreo. Este proceso ayudará a que su sitio alcance su mayor potencial de clasificación en los resultados de búsqueda de Google.

¿Qué es un presupuesto de rastreo?

Un presupuesto de rastreo es la cantidad de URL de un sitio web que los robots de los motores de búsqueda pueden indexar dentro de una sesión de indexación. El "presupuesto" de una sesión de rastreo difiere de un sitio web a otro según el tamaño, las métricas de tráfico y la velocidad de carga de cada sitio individual.

Si ha llegado hasta aquí y no conoce los términos de SEO, utilice nuestro glosario de SEO para familiarizarse más con las definiciones .

¿Qué factores afectan el presupuesto de rastreo de un sitio web?

Google no dedica la misma cantidad de tiempo o la misma cantidad de rastreos a todos los sitios web en Internet. Los rastreadores web también determinan qué páginas rastrean y con qué frecuencia en función de varios factores. Determinan con qué frecuencia y durante cuánto tiempo se debe rastrear cada sitio en función de:

• Popularidad: cuanto más se visita un sitio o una página, más a menudo se debe analizar en busca de actualizaciones. Además, las páginas más populares acumularán más enlaces entrantes más rápidamente.
• Tamaño: los sitios web grandes y las páginas con más elementos de datos intensivos tardan más en rastrearse.
• Estado/problemas: cuando un webcrawler llega a un callejón sin salida a través de enlaces internos, le lleva tiempo encontrar un nuevo punto de partida, o abandona el rastreo. Los errores 404, las redirecciones y los tiempos de carga lentos ralentizan y bloquean a los rastreadores web.

¿Cómo afecta tu presupuesto de rastreo al SEO?

El proceso de indexación del rastreador web hace posible la búsqueda. Si su contenido no puede ser encontrado y luego indexado por los rastreadores web de Google, sus páginas web y su sitio web no podrán ser descubiertos por los buscadores. Esto llevaría a que su sitio pierda una gran cantidad de tráfico de búsqueda.

¿Por qué Google rastrea los sitios web?

Los robots de Google revisan sistemáticamente las páginas de un sitio web para determinar de qué se trata la página y el sitio web en general. Los rastreadores web procesan, categorizan y organizan los datos de ese sitio web página por página para crear un caché de URL junto con su contenido, para que Google pueda determinar qué resultados de búsqueda deben aparecer en respuesta a una consulta de búsqueda.

Además, Google usa esta información para determinar qué resultados de búsqueda se ajustan mejor a la consulta de búsqueda para determinar dónde debe aparecer cada resultado de búsqueda en la lista jerárquica de resultados de búsqueda.

¿Qué sucede durante un rastreo?

Google asigna una cantidad de tiempo determinada para que un Googlebot procese un sitio web. Debido a esta limitación, es probable que el bot no rastree un sitio completo durante una sesión de rastreo. En su lugar, recorrerá todas las páginas del sitio según el archivo robots.txt y otros factores (como la popularidad de una página).

Durante la sesión de rastreo, Googlebot utilizará un enfoque sistemático para comprender el contenido de cada página que procesa.

Esto incluye la indexación de atributos específicos, como:

1. Metaetiquetas y uso de PNL para determinar su significado
2. Enlaces y texto de anclaje
3. Archivos de medios enriquecidos para búsquedas de imágenes y búsquedas de videos
4. marcado de esquema
5. marcado HTML

El rastreador web también ejecutará una verificación para determinar si el contenido de la página es un duplicado de un canonical. Si es así, Google moverá la URL a un rastreo de baja prioridad, por lo que no perderá el tiempo rastreando la página con tanta frecuencia.

¿Qué son la tasa de rastreo y la demanda de rastreo?

Los rastreadores web de Google asignan una cierta cantidad de tiempo a cada rastreo que realizan. Como propietario de un sitio web, no tienes control sobre esta cantidad de tiempo. Sin embargo, puede cambiar la rapidez con la que rastrean páginas individuales en su sitio mientras están en su sitio. Este número se denomina tasa de rastreo .

La demanda de rastreo es la frecuencia con la que Google rastrea tu sitio. Esta frecuencia se basa en la demanda de su sitio por parte de los usuarios de Internet y la frecuencia con la que el contenido de su sitio debe actualizarse en la búsqueda. Puede descubrir con qué frecuencia Google rastrea su sitio mediante un análisis de archivo de registro (consulte el n.° 2 a continuación).

¿Cómo puedo determinar el presupuesto de rastreo de mi sitio?

Debido a que Google limita la cantidad de veces que rastrean su sitio y por cuánto tiempo, desea saber cuál es su presupuesto de rastreo. Sin embargo, Google no proporciona estos datos a los propietarios de sitios, especialmente si su presupuesto es tan limitado que el contenido nuevo no llegará a los SERP de manera oportuna. Esto puede ser desastroso para el contenido importante y las páginas nuevas, como las páginas de productos, que podrían hacerte ganar dinero.

Para comprender si su sitio enfrenta limitaciones de presupuesto de rastreo (o para confirmar que su sitio está A-OK), querrá: Obtenga un inventario de cuántas URL hay en su sitio. Si usa Yoast, su total aparecerá en la parte superior de la URL de su mapa del sitio .

Una vez que tenga este número, use la sección "Configuración" > "Estadísticas de rastreo" de Google Search Console para determinar cuántas páginas rastrea Google en su sitio diariamente.

¿Cómo puede optimizar su presupuesto de rastreo?

Cuando llegue el momento en que su sitio se haya vuelto demasiado grande para su presupuesto de rastreo, deberá sumergirse en la optimización del presupuesto de rastreo. Debido a que no puede decirle a Google que rastree su sitio con más frecuencia o durante más tiempo, debe concentrarse en lo que puede controlar.

La optimización del presupuesto de rastreo requiere un enfoque multifacético y una comprensión de las prácticas recomendadas de Google . ¿Por dónde deberías empezar cuando se trata de aprovechar al máximo tu frecuencia de rastreo? Esta lista completa está escrita en orden jerárquico, así que comience en la parte superior.

1. Considere aumentar el límite de frecuencia de rastreo de su sitio

Google envía solicitudes simultáneamente a varias páginas de su sitio. Sin embargo, Google intenta ser cortés y no atascar su servidor, lo que resulta en un tiempo de carga más lento para los visitantes de su sitio. Si nota que su sitio se está quedando atrás de la nada, este puede ser el problema.

Para combatir el impacto en la experiencia de sus usuarios, Google le permite reducir su frecuencia de rastreo. Si lo hace, limitará la cantidad de páginas que Google puede indexar simultáneamente.

Sin embargo, curiosamente, Google también le permite aumentar su límite de frecuencia de rastreo; el efecto es que pueden extraer más páginas a la vez, lo que da como resultado que se rastreen más URL a la vez. Aunque todos los informes sugieren que Google tarda en responder a un aumento del límite de frecuencia de rastreo, y no garantiza que Google rastreará más sitios simultáneamente.

Cómo aumentar su límite de frecuencia de rastreo:

1. En Search Console, vaya a "Configuración".
2. Desde allí, puede ver si su tasa de rastreo es óptima o no.
3. Luego, puede aumentar el límite a una frecuencia de rastreo más rápida durante 90 días.

2. Realice un análisis del archivo de registro

Un análisis de archivo de registro es un informe del servidor que refleja cada solicitud enviada al servidor. Este informe le dirá exactamente qué hacen los robots de Google en su sitio. Si bien este proceso a menudo lo realizan los SEO técnicos, puede hablar con el administrador de su servidor para obtener uno.

Usando su análisis de archivo de registro o el archivo de registro del servidor, aprenderá:

• Con qué frecuencia Google rastrea tu sitio
• Qué páginas se rastrean más
• Qué páginas tienen un código de servidor que no responde o falta

Una vez que tenga esta información, puede usarla para realizar del 3 al 7.

3. Mantenga actualizado su mapa del sitio XML y Robots.txt

Si su archivo de registro muestra que Google dedica demasiado tiempo a rastrear páginas que no desea que aparezcan en las SERP, puede solicitar que los rastreadores de Google omitan estas páginas. Esto libera parte de su presupuesto de rastreo para páginas más importantes.

Su mapa del sitio (que puede obtener de Google Search Console o SearchAtlas ) proporciona a Googlebots una lista de todas las páginas de su sitio que desea que Google indexe para que puedan aparecer en los resultados de búsqueda. Mantener su mapa del sitio actualizado con todas las páginas web que desea que los motores de búsqueda encuentren y omitir aquellas que no desea que encuentren puede maximizar la forma en que los rastreadores web pasan su tiempo en su sitio.

Su archivo robots.txt les dice a los rastreadores de motores de búsqueda qué páginas desea y qué páginas no desea que rastreen. Si tiene páginas que no son buenas páginas de destino o páginas que están cerradas, debe usar la etiqueta noindex para sus URL en su archivo robots.txt. Es probable que Googlebots omita cualquier página web con la etiqueta noindex.

4. Reduzca las redirecciones y las cadenas de redirecciones

Además de liberar el presupuesto de rastreo al excluir páginas innecesarias de los rastreos de los motores de búsqueda, también puede maximizar los rastreos al reducir o eliminar los redireccionamientos. Estas serán cualquier URL que resulte en un código de estado 3xx.

Un Googlebot tarda más en recuperar las URL redirigidas, ya que el servidor tiene que responder con la redirección y luego recuperar la nueva página. Si bien una redirección toma solo unos pocos milisegundos, pueden sumarse. Y esto puede hacer que el rastreo de su sitio tarde más tiempo en general. Esta cantidad de tiempo se multiplica cuando un robot de Google se encuentra con una cadena de redireccionamientos de URL.

Para reducir los redireccionamientos y las cadenas de redireccionamientos, tenga en cuenta su estrategia de creación de contenido y seleccione cuidadosamente el texto para sus slugs.

5. Reparar enlaces rotos

La forma en que Google suele explorar un sitio es navegando a través de su estructura de enlaces internos. A medida que avanza a través de sus páginas, notará si un enlace conduce a una página inexistente (esto a menudo se denomina error 404 suave). Luego seguirá adelante, no queriendo perder el tiempo indexando dicha página.

Los enlaces a estas páginas deben actualizarse para enviar al usuario o al robot de Google a una página real. O (aunque es difícil de creer) Googlebot puede haber identificado erróneamente una página como un error 4xx o 404 cuando la página realmente existe. Cuando esto suceda, verifique que la URL no tenga errores tipográficos y luego envíe una solicitud de rastreo para esa URL a través de su cuenta de Google Search Console.

Para mantenerse al día con estos errores de rastreo, puede usar el Índice > Informe de cobertura de su cuenta de Google Search Console. O use la herramienta Auditoría del sitio de SearchAtlas para encontrar el informe de errores de su sitio y pasarlo a su desarrollador web.

Nota: es posible que las nuevas URL no aparezcan en su análisis de archivo de registro de inmediato. Dale a Google algo de tiempo para encontrarlos antes de solicitar un rastreo.

6. Trabajar para mejorar las velocidades de carga de la página

Los robots de los motores de búsqueda pueden moverse a través de un sitio a un ritmo rápido. Sin embargo, si la velocidad de su sitio no está a la par, realmente puede tener un costo importante en su presupuesto de rastreo. Use su análisis de archivo de registro, SearchAtlas o PageSpeedInsights para determinar si el tiempo de carga de su sitio está afectando negativamente su visibilidad de búsqueda.

Para mejorar el tiempo de respuesta de su sitio, use URL dinámicas y siga las prácticas recomendadas de Core Web Vitals de Google . Esto puede incluir la optimización de imágenes para medios en la mitad superior de la página.

Si el problema de la velocidad del sitio está en el lado del servidor, es posible que desee invertir en otros recursos del servidor, como:

• Un servidor dedicado (especialmente para sitios grandes)
• Actualización a hardware de servidor más nuevo
• Aumento de RAM

Estas mejoras también impulsarán su experiencia de usuario, lo que puede ayudar a que su sitio funcione mejor en la búsqueda de Google, ya que la velocidad del sitio es una señal para el PageRank.

7. No olvides usar etiquetas canónicas

Google desaprueba el contenido duplicado, al menos cuando no reconoce que el contenido duplicado tiene una página de origen. ¿Por qué? Googlebot rastrea cada página a menos que sea inevitable, a menos que se le indique lo contrario. Sin embargo, cuando encuentra una página duplicada o una copia de algo con lo que está familiarizado (en su página o fuera del sitio), dejará de rastrear esa página. Y si bien esto ahorra tiempo, debe ahorrarle aún más tiempo al rastreador mediante el uso de una etiqueta canónica que identifique la URL canónica.

Canonicals le dice al robot de Google que no se moleste en usar su período de tiempo de rastreo para indexar ese contenido. Esto le da al robot del motor de búsqueda más tiempo para examinar sus otras páginas.

8. Concéntrese en su estructura de enlaces internos

Tener una práctica de vinculación bien estructurada dentro de su sitio puede aumentar la eficiencia de un rastreo de Google. Los enlaces internos le dicen a Google qué páginas de su sitio son las más importantes, y estos enlaces ayudan a los rastreadores a encontrar páginas más fácilmente.

Las mejores estructuras de enlaces conectan a los usuarios y los robots de Google con el contenido de su sitio web. Utilice siempre un texto de anclaje relevante y coloque sus enlaces de forma natural en todo su contenido.

Para los sitios de comercio electrónico, Google tiene las mejores prácticas para las opciones de navegación por facetas para maximizar los rastreos. La navegación facetada permite a los usuarios del sitio filtrar productos por atributos, lo que hace que comprar sea una mejor experiencia. Esta actualización ayuda a evitar la confusión canónica y los problemas de duplicación, además del exceso de rastreos de URL.

9. Elimina el contenido innecesario

Los robots de Google solo pueden moverse tan rápido e indexar tantas páginas cada vez que rastrean un sitio. Si tiene una gran cantidad de páginas que no reciben tráfico o tienen contenido desactualizado o de baja calidad, ¡córtelas! El proceso de poda le permite eliminar el exceso de equipaje de su sitio que puede estar agobiándolo.

Tener demasiadas páginas en su sitio puede desviar a los Googlebots a páginas sin importancia mientras las ignora.

Solo recuerde redirigir cualquier enlace a estas páginas, para que no termine con errores de rastreo.

10. Acumula más backlinks

Así como los robots de Google llegan a su sitio y luego comienzan a indexar páginas en función de los enlaces internos, también utilizan enlaces externos en el proceso de indexación. Si otros sitios enlazan con el suyo, Googlebot viajará a su sitio y a las páginas de índice para comprender mejor el contenido del enlace.

Además, los vínculos de retroceso le dan a su sitio un poco más de popularidad y actualidad, que Google utiliza para determinar con qué frecuencia debe indexarse ​​su sitio.

11. Elimina las páginas huérfanas

Debido a que el rastreador de Google salta de una página a otra a través de enlaces internos, puede encontrar páginas que están enlazadas sin esfuerzo. Sin embargo, las páginas que no están vinculadas a algún lugar de su sitio a menudo pasan desapercibidas para Google. Estas se conocen como "páginas huérfanas".

¿Cuándo es apropiada una página huérfana? Si es una página de destino que tiene un propósito o audiencia muy específica. Por ejemplo, si envía un correo electrónico a los golfistas que viven en Miami con una página de destino que solo se aplica a ellos, es posible que no desee vincular a la página desde otro.

Las mejores herramientas para la optimización del presupuesto de rastreo

Search Console y Google Analytics pueden ser muy útiles cuando se trata de optimizar su presupuesto de rastreo. Search Console le permite solicitar un rastreador para indexar páginas y realizar un seguimiento de sus estadísticas de rastreo. Google Analytics lo ayuda a realizar un seguimiento de su viaje de vinculación interna.

Otras herramientas de SEO, como SearchAtlas, le permiten encontrar fácilmente problemas de rastreo a través de las herramientas de auditoría del sitio. Con un informe, puede ver su sitio:

• Informe de rastreo de indexabilidad
• Profundidad de índice
• Velocidad de página
• Contenido duplicado
• Mapa del sitio XML
• Enlaces

Optimice su presupuesto de rastreo y conviértase en uno de los mejores motores de búsqueda

Si bien no puede controlar la frecuencia con la que los motores de búsqueda indexan su sitio o durante cuánto tiempo, puede optimizar su sitio para aprovechar al máximo cada uno de los rastreos de su motor de búsqueda. Comience con los registros de su servidor y eche un vistazo más de cerca a su informe de rastreo en Search Console. Luego sumérjase en la corrección de cualquier error de rastreo, la estructura de su enlace y los problemas de velocidad de la página.

Mientras trabaja en su actividad de rastreo de GSC, concéntrese en el resto de su estrategia de SEO, incluida la creación de enlaces y la adición de contenido de calidad . Con el tiempo, encontrará que sus páginas de destino suben en las páginas de resultados del motor de búsqueda.