Esta fase comienza con los denominados web crawlers (también conocidos como “arañas”), que son los bots que buscan la información en internet para después analizarla y procesarla.

Estos bots recorren los datos a través de enlaces que encuentran de varios modos, entre los que destacan:

• Backlinks. Son los bots de los motores de búsqueda que tienen indexadas millones de páginas web que rastrean a diario. Si encuentra nuevas páginas web en las que ya tiene indexadas, las rastrea.

• Sitemaps. Son archivos que se crean en una web donde se incluyen todas las páginas que los crawlers deben rastrear. Una vez creado, puede indicarse a los motores de búsqueda su existencia para que lo rastree. En el caso de Google y Bing, la herramienta para informarles de la existencia de un nuevo sitemap, es su Webmaster Tools.

• Enlaces internos. Como es sabido, los bots saltan de una página a otra a través de enlaces recopilando datos. Por este motivo, es importante crear una buena estrategia de enlaces internos. Así, si un crawler detecta una de nuestras páginas a través de un backlink, contar con una estrategia de enlaces internos le facilita la labor de rastreo de nuestra web saltando de una página a otra.

Son los bots los que deciden qué páginas visitar y la frecuencia con la que lo harán, pese a que en el sitemap se lo indiquemos. Por eso, es importante tener la web actualizada y crear contenido con cierta frecuencia.

Además, se ha de tener en cuenta que es posible (y se debe) indicar a los bots qué páginas de la web no tienen que rastrear porque no aportan información relevante al usuario (por ejemplo, las páginas de política de privacidad o aviso legal). Para ello, se utiliza la directiva Disallow en el archivo robots.txt. Si lo que se pretende es que los bots no sigan un enlace específico, hay que utilizar el atributo de enlace rel=“nofollow”.