¿Qué es el Presupuesto de Rastreo (Crawl Budget)?

El presupuesto de rastreo (crawl budget) es la cantidad de URLs que Googlebot está dispuesto y es capaz de rastrear en tu sitio dentro de un periodo determinado. Depende de dos factores: el límite que impone tu servidor (cuánto aguanta sin ralentizarse) y la demanda de rastreo (cuánto interés tiene Google en tu contenido). En sitios grandes, gestionarlo bien decide qué páginas se descubren y cuáles quedan en el olvido.

Mito 1: "El crawl budget importa en todos los sitios"

Falso, y es el malentendido más caro. Si tu web tiene unos pocos cientos de URLs, Google las rastrea todas sin esfuerzo y el presupuesto de rastreo no es tu problema. Este concepto solo se vuelve relevante a partir de decenas de miles de URLs, o en sitios con mucha rotación como grandes ecommerce y portales de noticias. Antes de preocuparte por él, asegúrate de que tu sitio realmente tiene ese tamaño, porque optimizar algo que no te limita es perder el tiempo.

Mito 2: "Cuanto más rastree Google, mejor posicionaré"

Tampoco. Rastrear no es posicionar. Que Google visite más veces una página no la sube en los resultados. El objetivo de optimizar el presupuesto no es que rastree más, sino que dedique su tiempo a las URLs que importan en lugar de perderlo en basura técnica.

Mito 3: "El crawl budget se arregla con el archivo robots.txt y ya"

robots.txt ayuda a bloquear zonas inútiles, pero el desperdicio de rastreo suele venir de dentro de tu propia arquitectura, y eso no lo arregla un simple bloqueo. Hace falta un trabajo más fino de consolidación y limpieza.

Los errores que sí drenan tu presupuesto de rastreo

En sitios grandes, estos son los agujeros por los que se escapa el rastreo:

• Facetas y filtros infinitos: cada combinación de color, talla y precio genera una URL nueva que Google intenta rastrear.
• Parámetros de URL que crean duplicados del mismo contenido con distinto orden.
• Cadenas de redirecciones que obligan al bot a dar tres saltos para llegar a una página.
• Páginas de error blando (soft 404) que responden 200 pero no tienen contenido real.
• Contenido duplicado sin canonical, que multiplica el trabajo por nada.

Cada URL inútil que Google rastrea es una URL valiosa que quizá no llegue a visitar ese día.

Un caso para entenderlo

Imagina un ecommerce de ropa con 5.000 productos reales. Suena manejable. Pero cada producto se puede filtrar por talla, color, precio y marca, y esos filtros son enlazables. De repente, Google encuentra dos millones de combinaciones de URL, casi todas con contenido casi idéntico. El bot se pasa el día rastreando ?color=azul&talla=m&orden=precio mientras tus 200 productos nuevos de temporada esperan turno durante semanas. Ese es el crawl budget mal gestionado en estado puro, y explica por qué en grandes tiendas el problema no es crear contenido, sino evitar que el bot se ahogue en ruido.

Cómo optimizarlo cuando de verdad hace falta

La estrategia consiste en concentrar el rastreo en lo que genera negocio. Bloquea en robots.txt las zonas de filtros y búsquedas internas, consolida duplicados con canonical, elimina las cadenas de redirecciones dejando enlaces directos, y mantén el sitemap limpio con solo URLs indexables. También ayuda devolver un código 304 en páginas que no han cambiado, para que Google no las reprocese sin necesidad.

Dónde ver qué está gastando Google

En Search Console, el informe de Estadísticas de Rastreo es tu radar. Te muestra cuántas solicitudes hace Googlebot al día, qué tipos de archivo consume y, lo más revelador, qué códigos de respuesta encuentra. Si ves un volumen enorme de rastreo dedicado a URLs con parámetros o a errores, ahí tienes tu fuga. Empieza siempre por ese informe antes de tocar nada, porque te dice con datos dónde está el desperdicio real en vez de hacerte adivinar.

Términos relacionados

• ¿Qué es el Rastreo (Crawling)?: el proceso que este presupuesto regula.
• ¿Qué es la Canonicalización?: tu mejor arma contra el rastreo duplicado.
• ¿Qué es el Enlazado Interno?: dirige el rastreo hacia lo importante.
• ¿Qué es la Indexación?: el objetivo final de todo el rastreo.

¿Tienes un sitio grande que Google no termina de rastrear entero? Hablemos.