Respuesta Reto 1: ¿Sin robots.txt, Google no rastrea tu web?

¡Hola DinoRANKERS! por fin llegó el día en el que os desvelo la respuesta al primer reto que os lancé el jueves pasado! (si no sabes de qué te hablo, echa un vistazo a este hilo https://www.skool.com/dinorank/que-sabes-de-seo-te-atreves-a-jugar)

El primer reto hacía referencia al robots.txt, y he de decir que ¡¡sois unos cracks!! ¡¡Habéis acertado todos!! 🏆

La pregunta que os hacia era:

¿Verdadero o Falso?

🔴 Si no tienes un archivo robots.txt en tu web, Google no podrá rastrearla.

RESPUESTA:

Vamos a aclarar un mito muy común sobre el archivo robots.txt.

Muchos creen que si no tienen este archivo en su web, Google no podrá rastrear el sitio... y esto es... ¡FALSO! SIN el archivo ROBOTS.TXT Google puede RASTREAR tu sitio SIN PROBLEMAS 😀.

vale, Amaya, pero si no es necesario, ¿Por qué usarlo?

Porque, por defecto, si no tienes un archivo robots.txt, Google no tiene restricciones para rastrear tu sitio web. Es como dejar las puertas abiertas de par en par. Google sigue los enlaces de las páginas y las rastrea sin problemas. Sin este archivo, no tendrá ninguna limitación.

El archivo robots.txt solo se utiliza para dar instrucciones a los motores de búsqueda sobre qué partes de tu sitio deben o no deben ser rastreados. Por ejemplo, puedes bloquear páginas no relevantes para el SEO, como puede ser la página de carrito en un e-commerce... u otras páginas no relevantes que no deseas que se indexen. Este archivo ayuda a encontrar mejor el contenido de tu web y a mejorar el presupuesto de rastreo.

Si te interesa aprender más sobre el robots.txt te dejo dos artículos uno escrito por mi (nichera aspirante a consultora SEO 😜) y otro escrito por Edu Coromina (Head of SEO de DinoRANK).

https://sirimiridigital.com/guia-completa-robots-txt/

https://dinorank.com/blog/robots-txt/

En un ratito lanzó el segundo reto... estaros atentos...😉

6 comments