Ahora que tenemos la visión completa de los dos niveles del SEO podemos entender mejor cómo funciona el proceso.
Debemos diferenciar entre tres fases diferentes que acaban (o no) con nuestra página apareciendo en las SERPs cuando un usuario realiza una búsqueda a través de Google o cualquier otro motor.
● Fase 1: Crawleado
● Fase 2: Indexado
● Fase 3: Rankeado
Fase 1: Crawleado
Esta es la fase previa. Antes de poder mostrar una página, el sistema tiene que ser capaz de recorrerla para saber si merece la pena añadirla a la base de datos.
Los motores de búsqueda cuentan con los llamados bots, arañas o crawlers. Son los encargados de recorrer las páginas simulando de cierto modo la forma en la que lo hacen los usuarios.
Para realizar este recorrido irá “saltando” desde diferentes enlaces internos y externos, por eso es tan importante en la optimización on page diseñar unas buenas topografía y arquitectura además de conseguir enlaces externos de calidad en el off.
Para conocer cómo se está realizando el crawleado puedes utilizar algunas herramientas. Una de las más potentes y que resulta obligatoria para hacer SEO es Google Search Console ( la del pantallazo al principio de esta sección).
La información que se recoge aquí puede no ser tan extensa como la que se puede extraer de otras herramientas, pero cuenta con la enorme ventaja de venir directamente de la fuente más autorizada: Google.
Obtendrás información de:
● Errores de rastreo: nos dirá cuántos y cuáles existen en las principales
1.000 primeras páginas. Diferencia entre servidor (500) y no encontrados (404) además del rastreo móvil y de escritorio.
● Estadísticas de rastreo: podremos saber cuántos ficheros recorre cada día, el número de bytes descargados y el tiempo que emplea en descargar una página. Es importante saber que Google no le dedica todo el tiempo del mundo a cada página, en función de la relevancia de la misma le asignará un mayor o menor crawl budget. Ojo, aquí se juntan tanto documentos HTML, como CSS, JS o imágenes. Además, no solo nos muestra las URLs con status 200, también las 3xx o 4xx.
● Explorar como Google: podemos enviar nuevas páginas o aquellas que no estén siendo recorridas para “forzar” su crawleo
● Probador de robots.txt: este fichero gestiona permitiendo o denegando el acceso a las distintas páginas por parte del bot de google o cualquier otro.
● Sitemaps: podremos (y debemos) subir un xml con todas las urls del sitio. Este mapa es de mucha utilidad para Google porque le permite recorrer de manera más rápida y eficiente todo el sitio web. Aquí lo podemos subir para que Google pueda acceder a él de manera cómoda y rápida.
Fase 1: Crawleo
1. Preparación del Sitio Web para el Crawleo
- Accesibilidad del Sitio: Asegúrate de que tu sitio web esté accesible para los motores de búsqueda. Esto incluye tener un dominio funcional y evitar bloqueos innecesarios en el archivo robots.txt.
- Servidor y Hosting: Elige un buen servidor y servicio de hosting que ofrezca alta disponibilidad y tiempos de respuesta rápidos, ya que los motores de búsqueda prefieren sitios web rápidos y estables.
2. Configuración del archivo Robots.txt
- Permitir y Bloquear Contenidos: Utiliza el archivo robots.txt para controlar qué partes de tu sitio web pueden ser rastreadas por los motores de búsqueda. Bloquea las páginas irrelevantes (como las de administración) y permite el acceso a las páginas importantes.
- Ubicación del Archivo: Asegúrate de que el archivo robots.txt esté ubicado en el directorio raíz del dominio (por ejemplo, www.tusitio.com/robots.txt).
3. Creación y Envío del Sitemap
- Sitemap XML: Crea un sitemap XML que incluya todas las páginas importantes de tu sitio web. Este archivo guía a los motores de búsqueda para rastrear y encontrar todo tu contenido.
- Envío a Herramientas para Webmasters: Sube y envía tu sitemap a Google Search Console, Bing Webmaster Tools y otros servicios de motores de búsqueda para asegurarte de que conozcan todas las páginas que deben rastrear.
4. Optimización de la Estructura del Sitio
- Enlaces Internos: Una buena estructura de enlaces internos ayuda a los motores de búsqueda a encontrar y rastrear todas las páginas de tu sitio web. Asegúrate de que las páginas más importantes sean fácilmente accesibles desde la página principal.
- Navegación Intuitiva: Diseña una estructura de navegación clara y sencilla para facilitar el rastreo y mejorar la experiencia del usuario.
5. Eliminación de Obstáculos para el Rastreo
- Evitar Contenido Duplicado: Asegúrate de que no haya contenido duplicado en tu sitio web, ya que puede confundir a los motores de búsqueda y afectar negativamente tu posicionamiento.
- Evitar Uso Excesivo de JavaScript: Aunque los motores de búsqueda han mejorado en el rastreo de contenido dinámico, es mejor tener una estructura HTML limpia y accesible.
6. Configuración de Herramientas de Análisis y Monitoreo
- Google Search Console: Configura Google Search Console para monitorear cómo Google rastrea e indexa tu sitio. Esta herramienta te ayudará a identificar y solucionar problemas de rastreo.
- Herramientas de SEO: Utiliza herramientas como Ahrefs, SEMrush o Screaming Frog para realizar auditorías de rastreo y detectar posibles problemas.
7. Actualización y Mantenimiento Continuo
- Monitorización Regular: Revisa regularmente Google Search Console y otras herramientas de análisis para asegurarte de que tu sitio está siendo rastreado correctamente.
- Corrección de Errores: Resuelve rápidamente cualquier error de rastreo o acceso que se detecte, como errores 404 (páginas no encontradas) o redireccionamientos incorrectos.