¿Qué son los crawlers de Google? | Diccionario SEO

Crawlers de Google
Fuente de la imagen: Pixabay

Cuando hablamos de Google en términos de SEO, muchas veces en realidad queremos referirnos no al buscador en sí sino a su crawler, o mejor dicho, crawlers, pues Google cuenta con muchas arañas para poder rastrear la web. Estamos hablando de las famosas arañas de Google.

En realidad, todos los buscadores tienen arañas; si hablamos de Google es porque se trata del buscador de mayor éxito. Lo que hacen los buscadores en general y Google en particular es lanzar sus crawlers para escanear la Red y detectar los nuevos contenidos. Estas arañas son programas que se encargan de indexar y actualizar las bases de datos.


Con esta información, Google procede a “premiar” o “castigar” los sitios, una vez determina si estos tienen un contenido de valor (o no) que pueda satisfacer las necesidades de los usuarios de su buscador. No podría establecerse el ranking en las SERPs sin la información obtenido por los crawlers, que son especie de auditores que se encargan de examinar tu sitio una y otra vez, sin necesidad de que el propietario esté al corriente de ello.

Estas arañas se encargan, para comenzar, de indexar tu nuevo blog, si bien ayuda que envíes un sitemap a Google, para facilitarle el trabajo.


Algunos datos importantes sobre los rastreadores

  • Las arañas de Google no visitan los todos sitios con la misma frecuencia. Tienen en cuenta si el lugar se actualiza mucho o poco, su autoridad, etcétera.
  • Las arañas de Google no rastrean todo el sitio cada vez que pasan por él. Debido al gran volumen, deben centrarse en un número limitado de páginas.
  • El trabajo que realizan las arañas cuando están en tu sitio consumen recursos del servidor. Quiere esto decir que si vas muy corto de hosting, puedes tener problemas cuando los crawlers pasen por él. A mí me ha ocurrido que un sitio con muchas visitas se me vino abajo porque coincidió un pico alto de visitas con la indexación de los crawlers. No obstante, la frecuencia con la que los crawlers visita tu web se puede regular. Lo veremos más adelante. Por ahora solo quería explicar, sin entrar en demasiados detalles, qué son los crawlers, arañas, spyders, llamado como queráis.

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.