Reglas para rastreadores
Sobre este generador de robots.txt
Un archivo robots.txt da instrucciones a los rastreadores antes de que visiten un sitio. Debe ser texto sin formato y estar en la raíz, por ejemplo https://example.com/robots.txt. Puede permitir todo el sitio, pedir que no se visiten ciertas rutas o cerrar el rastreo de todo el sitio.
Son peticiones para robots que respetan las reglas, no un control de acceso. El archivo es público, algunos bots pueden ignorarlo y una URL bloqueada todavía puede aparecer en buscadores sin el texto de la página. No lo uses para proteger contraseñas, datos de clientes o zonas privadas.
La línea Sitemap indica dónde está el mapa XML. No sustituye el envío desde la cuenta del buscador, pero ofrece otra forma fiable de encontrarlo.
Qué significa cada línea
En muchos servidores las mayúsculas cambian la ruta. Revisa bien el archivo antes de publicarlo.
| Línea | Significado |
|---|---|
| User-agent: * | Las reglas siguientes se aplican a todos los rastreadores. |
| Allow: / | Los rastreadores pueden visitar todo el sitio. |
| Disallow: /path/ | Pide que no visiten esta ruta ni las URLs que contiene. |
| Sitemap: | Da la dirección pública completa del sitemap XML. |
Cómo crear un archivo robots.txt
- Elige el acceso: Permite el sitio, enumera rutas o bloquea todo solo si de verdad quieres hacerlo.
- Añade el sitemap: Usa la URL pública completa de sitemap.xml y revisa las reglas.
- Publícalo en la raíz: Descarga o copia el archivo y colócalo en /robots.txt del mismo host.
Preguntas frecuentes
¿Robots.txt puede ocultar información privada?
No. Es público y solo pide que no se rastree. Protege páginas privadas con autenticación y permisos correctos del servidor.
¿Disallow elimina una página de Google?
No de forma fiable. Una URL bloqueada puede aparecer si recibe enlaces. Para retirarla, permite el rastreo y devuelve noindex, o usa las herramientas de retirada del buscador.
¿Dónde se sube robots.txt?
En la raíz del host y protocolo exactos, por ejemplo https://example.com/robots.txt. Un archivo en /carpeta/robots.txt no controla todo el sitio.
¿Debo añadir Crawl-delay?
Normalmente no. Google no admite Crawl-delay en robots.txt y otros robots lo interpretan de formas distintas. Usa los ajustes del buscador o controles del servidor.