robots.txt
El robots.txt es un fichero de texto en la raíz de la web donde se indica a los robots de los buscadores qué partes no deben rastrear.
Se coloca en tudominio.es/robots.txt y cualquiera puede leerlo. Sirve para pedir a los rastreadores que no pierdan el tiempo en zonas que no aportan nada en los resultados, como el panel de administración o ciertas páginas internas.
Hay un malentendido muy extendido y conviene tenerlo claro: bloquear una página en el robots.txt no es la forma de esconderla de Google. Impedir que la lean no borra lo que ya sabían de ella, y si otras webs la enlazan puede seguir apareciendo. Para que una página no salga en los resultados se usa una instrucción distinta dentro de la propia página, y para eso el buscador tiene que poder leerla.
Tampoco es una barrera de seguridad. Es una petición que los buscadores serios respetan, pero nada impide que un programa malintencionado la ignore. Lo que tenga que estar protegido se protege con contraseña, no con un fichero de texto público que además enseña dónde están las zonas privadas.
Términos relacionados
- RastreoEl rastreo es el recorrido que hacen los robots de los buscadores por internet, leyendo páginas y siguiendo los enlaces que encuentran en ellas.
- IndexaciónLa indexación es que el buscador haya guardado tu página en su índice, que es el requisito para que pueda aparecer en los resultados.
- Sitemap (mapa del sitio)El sitemap es un fichero con la lista de las páginas de tu web que quieres que los buscadores conozcan.
¿Te lo han puesto en un presupuesto y sigues sin tenerlo claro?
Llámame y te lo explico aplicado a tu caso, sin compromiso y sin que tengas que contratar nada: al teléfono estoy yo. Y si prefieres mirarlo por tu cuenta, aquí tienes por dónde seguir.