¿Te has preguntado alguna vez cómo los motores de búsqueda deciden qué partes de una web pueden analizar y cuáles deben dejar fuera? Si gestionas una web, te dedicas al SEO o simplemente te interesa el funcionamiento interno de Internet, el archivo robots.txt es uno de esos elementos esenciales que marcan la diferencia entre el caos de datos y una indexación bien controlada. Aunque es pequeño y parece sencillo, su impacto en la visibilidad, privacidad y rendimiento de una web es tremendo.