Que Google sepa que la página existe no quiere decir necesariamente que la incorpore a su base de datos. Aquí entra en juego la indexación que es el proceso por el cual categoriza la información recibida y la clasifica debidamente dentro de su índice (de ahí viene la palabra).
Para entender el proceso el ejemplo que utiliza Google es muy gráfico. Imagina que el buscador fuera una enorme enciclopedia en la que existiera un índice, todas las páginas que contiene (y son miles de millones) están aquí listadas pero de forma que se relacionan con las palabras que contiene cada documento.
Poco a poco se va depurando el proceso y, gracias a la inteligencia artificial, el machine learning y la búsqueda semántica, Google es capaz de establecer relaciones entre el contenido que van más allá de las simples palabras. Se empieza a conseguir interpretar las intenciones de búsqueda y está adquiriendo la capacidad de mostrar resultados más relevantes basados en la personalización, el análisis y el aprendizaje de los millones de búsquedas que se realizan cada día.
Mobile first index
Hay algo importante en lo que deberíamos detenernos un momento. Hasta este momento las páginas eran recorridas e indexadas en base al bot específico para escritorio.
Esto significa que Google priorizaba de algún modo a las versiones para dispositivos desktop. El paradigma de la búsqueda va cambiando y cada vez se recibe más y más tráfico desde los dispositivos móviles, Google también se ha dado cuenta de este detalle y, desde 2018, va a tomar cartas en el asunto. Tanto es así, que Google no para de lanzar herramientas para que le eches un vistazo a tu site, por ejemplo la prueba de optimización para móviles.
A partir de ahora recorrerá las páginas con su bot mobile y será en base al crawleo realizado con él, como confeccionará los índices.
Esto supone un grave problema para los que tengan versiones diferenciadas para sus tiendas (el clásico subdominio “m.dominio.com”) o contenidos independientes. Lo que no esté en la versión móvil, simplemente no se podrá indexar.
Así es: a Google le gusta el móvil y cada vez más. Se acabó lo de mobile friendly, ahora la tendencia es mobile first.
Esto es normal y tiene todo el sentido, debido a que la mayoría de búsquedas que se hacen en Google ya vienen desde un dispositivo móvil.
Fase 2: Indexación
- Creación y Envío del Sitemap:
- El sitemap es un archivo XML que contiene una lista de todas las páginas de un sitio web y proporciona información importante sobre cada página, como la frecuencia de actualización y la importancia relativa en relación con otras páginas del sitio.
- Durante esta fase, se crea y se envía el sitemap a Google Search Console y otras herramientas de búsqueda, lo que facilita a los motores de búsqueda la indexación del contenido del sitio.
- Optimización de Robots.txt:
- El archivo robots.txt es un archivo de texto utilizado para controlar y gestionar qué partes del sitio web pueden ser rastreadas e indexadas por los motores de búsqueda.
- En esta fase, se optimiza el archivo robots.txt para permitir el acceso a las páginas y recursos importantes del sitio y bloquear aquellos que no deben ser indexados.
- Rastreo del Sitio por los Motores de Búsqueda:
- Una vez que el sitemap y el archivo robots.txt están configurados correctamente, los motores de búsqueda como Google, Bing y otros comienzan a rastrear el sitio web.
- Durante este proceso, los motores de búsqueda exploran y siguen los enlaces internos y externos para descubrir y indexar nuevas páginas y contenido.
- Optimización de Etiquetas Meta y Contenido:
- Durante la indexación, es crucial que todas las páginas del sitio estén optimizadas con etiquetas meta adecuadas (como título, descripción y palabras clave) y contenido relevante.
- Esto ayuda a los motores de búsqueda a entender de qué se trata cada página y determinar cuándo mostrarla en los resultados de búsqueda.
- Verificación y Resolución de Problemas de Indexación:
- Es importante monitorear regularmente Google Search Console y otras herramientas para identificar problemas de indexación, como páginas bloqueadas, errores de rastreo o páginas no indexadas.
- Resolver estos problemas rápidamente garantiza que todo el contenido relevante del sitio esté disponible para los motores de búsqueda y pueda ser mostrado a los usuarios.