Generador de robots.txt

1. Resumen de la herramienta

Introducción básica

El generador robots.txt de Gotokit es una herramienta visual gratuita, sin registro y ejecutada localmente en el navegador. Sigue el estándar RFC 9309 Robots exclusión Protocol y está pensada para webmasters independientes, sitios personales, blogs estáticos, tiendas online, proyectos Astro y otras webs estáticas.

Funciones principales:

• seleccionar User-agent de forma visual
• crear reglas de rastreo permitidas o bloqueadas
• validar la sintaxis en tiempo real
• copiar o descargar un robots.txt listo para usar
• alternar entre modo visual y modo texto

Conceptos clave antes de empezar

Qué es robots.txt

robots.txt es un archivo de texto que se coloca en la raíz del sitio, normalmente en:

https://tu-dominio.com/robots.txt

Sirve para indicar a los bots compatibles qué partes del sitio pueden rastrear y cuáles deben evitar.

Cómo funciona el protocolo

Cuando un buscador serio visita una web, su crawler suele leer primero robots.txt y después aplica las reglas que coinciden con el User-agent.

Importante:

• los buscadores y herramientas SEO conocidas suelen respetarlo
• los scrapers maliciosos pueden ignorarlo

Rastreo no es lo mismo que indexación

• robots.txt controla el rastreo
• noindex controla la indexación

Si quieres evitar que una página aparezca en resultados de búsqueda, normalmente necesitas usar noindex además de robots.txt.

Procesamiento local

Toda la generación, validación y análisis se realiza en tu navegador. Tus reglas y URLs no se suben al servidor.

2. Significado de la navegación superior

Inicio / Todas las herramientas / Programación y desarrollo

• Inicio: vuelve a la portada de Gotokit
• Todas las herramientas: abre el directorio completo de herramientas gratuitas
• Programación y desarrollo: categoría a la que pertenece este generador

3. Explicación completa de la interfaz

Módulo 1: zona de inicio

• Título: 🤖 Generador de robots.txt
• Texto auxiliar: indica que las herramientas de Gotokit se usan online, sin descarga ni cuenta

Esta zona aclara que la herramienta es gratuita y de uso inmediato.

Módulo 2: plantillas rápidas

Las plantillas sirven como punto de partida.

Plantilla de sitio general

Adecuada para:

• webs corporativas
• sitios de contenidos
• portales informativos

Comportamiento típico:

• permite los principales crawlers
• bloquea rutas sensibles como /admin/, /private/ y /tmp/
• deja espacio para el sitemap

Plantilla de blog estático / sitio de herramientas

Adecuada para:

• Astro
• VitePress
• Hugo
• directorios de herramientas

Comportamiento típico:

• permite crawlers de imágenes y vídeo
• bloquea /draft/
• bloquea /preview/
• bloquea /api/internal/
• no bloquea recursos públicos en /assets/

Plantilla de ecommerce

Adecuada para:

• tiendas online
• ecommerce internacional
• catálogos de producto

Comportamiento típico:

• bloquea carrito, checkout, cuenta y páginas con filtros
• permite páginas públicas de producto
• reduce rutas duplicadas causadas por parámetros
• deja espacio para varios sitemaps

Plantilla de bloqueo total

Adecuada para:

• sitios de pruebas
• demos internas
• proyectos sin publicar

Ejemplo:

User-agent: *
Disallow: /

Bloquea el rastreo de todo el sitio. sólo debería usarse antes del lanzamiento o en entornos privados.

Módulo 3: configuración básica del sitio

Aquí se encuentran dos campos clave: URL del sitio y URL del sitemap.

URL del sitio

Sirve para:

• normalizar el dominio principal
• ayudar a autocompletar el sitemap
• no se escribe directamente en el contenido final del archivo

Se recomienda usar la URL completa, por ejemplo https://demo.com.

URL del sitemap

Sirve para:

• generar directivas Sitemap:
• ayudar a los buscadores a descubrir páginas

Reglas:

• usar una URL absoluta completa
• si tienes varios sitemaps, escribir uno por línea
• si se deja vacío, no se añadirá ninguna línea Sitemap:

Módulo 4: interruptores rápidos globales

Permitir todos los bots

Genera una base similar a:

User-agent: *
Disallow:

Eso significa que no se bloquea ningún camino por defecto.

Bloquear todos los bots

Genera:

User-agent: *
Disallow: /

Eso bloquea todo el sitio para rastreadores compatibles.

Módulo 5: acciones de vista previa

Copiar código

Copia todo el contenido generado de robots.txt al portapapeles.

Descargar robots.txt

Descarga un archivo correctamente nombrado y listo para subir a la raíz del sitio.

Restablecer

Limpia formularios, vista previa y validaciones para empezar de nuevo.

Módulo 6: panel de validación

Muestra si la configuración parece lista para usar.

Configuración válida

Normalmente significa:

• sin duplicados evidentes de User-agent
• sin conflictos obvios
• con URLs de sitemap bien formadas

Casos comunes de aviso o error

• grupos duplicados para el mismo User-agent
• rutas que no empiezan por /
• sitemap sin http o https
• conflicto entre Disallow general y Allow más específico

Módulo 7: modos de edición

Modo visual

Es el modo recomendado para principiantes:

• seleccionar bots
• elegir Allow o Disallow
• introducir rutas

Modo texto

Es el modo avanzado. Permite escribir el archivo completo manualmente y aprovechar la validación del sistema.

Módulo 8: configuración principal de bots y rutas

8.1 Qué es un grupo de reglas

Cada grupo sólo se aplica a los User-agent elegidos dentro de ese grupo.

Ejemplo:

• Grupo 1: reglas generales para todos los bots
• Grupo 2: restricciones extra para AhrefsBot

8.2 Agregar grupo / Duplicar grupo

Agregar grupo:

• crea un bloque independiente
• permite usar estrategias distintas según el bot

Duplicar grupo:

• copia bots y reglas del grupo actual
• ahorra tiempo cuando sólo quieres cambiar pequeños detalles

8.3 Lista de bots predefinidos

Todos los bots (*)

• equivale a User-agent: *
• aplica las reglas a todos los bots compatibles

Googlebot

• crawler principal de Google para páginas web

Googlebot-Image

• crawler de imágenes de Google

Googlebot-Video

• crawler de vídeo de Google

Bingbot

• crawler principal de Bing

DuckDuckBot

• crawler de DuckDuckGo

AhrefsBot

• crawler SEO de Ahrefs
• muchos sitios lo bloquean para reducir carga

SemrushBot

• crawler SEO de Semrush

YandexBot

• crawler principal de Yandex

Baiduspider

• crawler principal de Baidu

8.4 User-agent personalizado

Permite añadir bots no incluidos en la lista.

Ejemplos:

• Applebot
• GPTBot
• CCBot
• facebookexternalhit

8.5 Panel de reglas de ruta

Allow:

• permite explícitamente el rastreo de una ruta

Disallow:

• bloquea explícitamente el rastreo de una ruta

Normas:

• la ruta debe empezar por /
• puede ser un directorio o una página concreta

Ejemplos:

• /admin/
• /private.html

8.6 Rutas rápidas y su utilidad

/assets/

• recursos estáticos como imágenes, CSS, JS y fuentes

/admin/

• zona de administración, normalmente conviene bloquearla

/preview/

• páginas de vista previa o borradores

/tmp/

• archivos temporales o caché

/api/internal/

• endpoints internos del sistema

/search/draft/

• contenido en borrador o no publicado

/private/

• contenido privado, interno o sensible

4. Flujo recomendado

1. elegir la plantilla más cercana al tipo de sitio
2. introducir la URL del sitio y la del sitemap
3. decidir si la base será abierta o bloqueada
4. crear los grupos de reglas necesarios
5. revisar la vista previa en tiempo real
6. revisar validaciones y avisos
7. copiar o descargar el archivo final y subirlo a la raíz del sitio

5. Notas importantes

• el contenido generado de robots.txt no depende del idioma de la página
• todo se procesa localmente en el navegador
• robots.txt afecta al rastreo, no garantiza por sí sólo la desindexación

---

Última actualización: 2026-08-01