Conociendo el archivo robots.txt y para qué se usa en SEO

Avatar

En prácticamente todas las webs hay una página o, mejor dicho, un archivo de texto, que siempre está presente, aunque casi nunca oirás hablar de él. Se trata del archivo “robots.txt”.

¿No te lo crees? Escoge tu web favorita, la que más visites, y detrás del nombre de dominio añádele “/robots.txt”.

Por ejemplo:

Curioso, ¿no? Seguro que ahora te estarás preguntando: ¿qué hace este misterioso archivo que parece estar presente en todas las webs, desde las más grandes y populares hasta las más pequeñas?

¡Pues eso es lo que vamos a ver! Vamos a realizar un pequeño viaje por el mundo del web crawling y vamos a ver qué función tiene este archivo, centrándonos en el aspecto de la optimización SEO.

Lo Primero: ¿Qué Hace El Archivo robots.txt?

En pocas palabras, robots.txt es un archivo de texto plano con instrucciones que controlan el funcionamiento de los crawlers (también llamados spiders o arañas).

¿Qué es un crawler?, te estarás preguntando. Que no te asuste la terminología técnica en inglés, porque el concepto es muy simple.

Como sabes, los buscadores (como https://www.google.es/ o https://duckduckgo.com/) nos permiten introducir un par de palabras claves y recibir una lista de sitios webs que responden a esas palabras ordenados por relevancia. Para ofrecer esta funcionalidad, estos buscadores necesitan tener una lista actualizada de todos las páginas que componen Internet y de su contenido.

¿Cómo recopilan esta lista? Lo hacen a través de los crawlers, que son programas de ordenador que, de forma autónoma, van pulsando todos los enlaces de las webs que visitan, y luego los enlaces de estas nuevas webs a las que han llegado pulsando enlaces, y luego los enlaces de estas, etc.

De esta manera, pueden elaborar un mapa de Internet que sirve de lista o índice de páginas web para los buscadores. Como este mapa tiene forma de telaraña, a los crawlers también se les llama arañas o spiders.

Y el archivo robots.txt simplemente determina qué subpáginas de una web puede visitar un crawler en su proceso de seguir enlaces. En particular, permite prohibir a los crawlers visitar una cierta página de tu web.

¿Para qué sirve robots.txt en la optimización SEO?

En un principio, puede parecer que el archivo robots.txt no tiene ninguna utilidad o incluso que es dañino para el SEO de una web.

Al fin y al cabo, el paso más básico para hacer SEO es que los buscadores se den cuenta de que tus páginas y subpáginas existen y las añadan al índice, y para ello la principal manera es que las visite el crawler del buscador.

¡Si lo que hace robots.txt es prohibir que el crawler acceda a ciertas páginas entonces está impidiendo que esas páginas posicionen o tan siquiera aparezcan en los resultados de búsqueda!, ¿no?

Eso es lo que puede parecer, pero considera lo siguiente:

  • No te interesa posicionar para todas las páginas. Hay páginas, como el panel de control del administrador o la página de información legal, en las que posicionarte te va a dar igual. Que estas páginas aparezcan más alto en los resultados de búsqueda no te va a reportar ningún beneficio.
  • El crawler aumenta la carga sobre el servidor en la que está alojada tu página web. Si hay muchos usuarios accediendo a la vez a una web, la velocidad y fluidez de esta disminuye, ¿verdad? Pues cada vez que el crawler visita una página el impacto es el mismo que si un usuario estuviera accediendo a ella.

Teniendo en cuenta estos dos aspectos, podemos usar robots.txt para la optimización SEO / optimización UX prohibiendo el acceso del crawler a páginas como el panel de control, en las que posicionarse no aporta nada, pero en las que si se evita que sean visitadas automáticamente se puede reducir la carga sobre la web y, por lo tanto, el presupuesto de rastreo se optimiza economizando el tiempo de rastreo.

¡Super útil!, ¿no crees?

Conclusión

Este archivo, tan presente en la infraestructura y el funcionamiento de la web actual, pero a la vez tan desconocido, supone una herramienta muy útil para conciliar el SEO con la eficiencia de tu web.

¡Esperamos que te haya servido de ayuda esta pequeña guía! ¡Mantente atento a nuestro blog para más información sobre SEO y web!

Acerca de Sociment

Tu Departamento de Marketing.

Artículos relacionados