¿Pueden leer tu web ChatGPT, Claude y Perplexity?
Comprueba qué rastreadores de IA deja pasar tu robots.txt: GPTBot, ClaudeBot, PerplexityBot, Google-Extended y otros 14, con la regla exacta que decide cada caso.
Leemos el robots.txt público de la web y lo evaluamos para 18 rastreadores de IA, regla por regla.
Qué comprueba esta herramienta
Descarga el archivo /robots.txt de la web, lo interpreta como lo hacen Google y el estándar RFC 9309 y calcula, para cada rastreador de IA, si puede entrar en la portada y en la ruta que indiques. Un bot obedece el grupo que lo nombra; si no hay ninguno, sigue el de User-agent: *. Dentro del grupo gana la regla más larga que coincide con la ruta y, si empatan, gana Allow.
Al lado de cada veredicto verás la línea del archivo que lo decide. Así sabes qué tocar si el resultado no es el que esperabas.
Entrenamiento, búsqueda y peticiones de usuarios
No todos los bots de IA hacen lo mismo, y bloquearlos todos por igual suele ser un error:
- Búsqueda y respuestas: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, DuckAssistBot. Construyen el índice del que salen las respuestas con enlaces. Si los bloqueas, es difícil que te citen.
- Entrenamiento de modelos: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent, Amazonbot, cohere-ai. Recogen texto para entrenar modelos. Bloquearlos no te quita visibilidad en las búsquedas.
- Peticiones de usuarios: ChatGPT-User, Claude-User, Perplexity-User. Abren una página cuando alguien la pide en el chat. Algunos avisan de que pueden no aplicar robots.txt.
Cómo permitir la búsqueda con IA y bloquear el entrenamiento
Da a los bots de búsqueda su propio grupo con Allow: / y pon los de entrenamiento en otro con Disallow: /. La herramienta te prepara ese bloque a partir de tu archivo actual. Un detalle que se olvida a menudo: en cuanto un bot tiene grupo propio deja de leer las reglas de *, así que repite ahí las rutas privadas que ya bloqueabas.
robots.txt es un acuerdo voluntario. Si necesitas un bloqueo real, añádelo también en el firewall o el CDN. Y si quieres dar a los asistentes un resumen de tu web, prueba el generador de llms.txt.
Preguntas frecuentes
¿Otra duda? Escríbenos a info@metricaseo.site.
No. GPTBot recoge contenido para entrenar los modelos de OpenAI. Las respuestas con búsqueda de ChatGPT usan OAI-SearchBot, que se controla aparte. Puedes bloquear GPTBot y dejar pasar a OAI-SearchBot para seguir apareciendo en ChatGPT sin ceder tu contenido para entrenamiento.
Googlebot rastrea para Google Search, y eso incluye AI Overviews y el modo IA. Google-Extended no rastrea nada: es un permiso que decide si Google puede usar tu contenido para entrenar Gemini y para sus respuestas en las apps de Gemini. Bloquear Google-Extended no te quita posiciones ni presencia en AI Overviews.
robots.txt es un acuerdo voluntario. OpenAI, Anthropic, Google, Apple o Perplexity dicen respetarlo en sus rastreadores, pero los agentes que abren una página porque un usuario lo pide (ChatGPT-User, Perplexity-User) pueden no aplicarlo, y hay rastreadores señalados por ignorarlo. Si necesitas un bloqueo real, hazlo también en el firewall o el CDN.
Si /robots.txt devuelve un 404 u otro error 4xx, los rastreadores entienden que pueden visitar todo. Si devuelve un error 5xx, Google y otros lo tratan como un bloqueo total temporal hasta que el archivo vuelva a responder, así que conviene arreglarlo cuanto antes.
Google suele guardar en caché el robots.txt hasta 24 horas, y otros rastreadores tienen plazos parecidos o más largos. Esta herramienta guarda cada resultado unos 10 minutos, así que si acabas de editar el archivo espera un poco antes de repetir la comprobación.
Porque un rastreador sin grupo propio sigue las reglas de User-agent: *. Si ese grupo tiene Disallow: /, bloquea a todos los que no tengan su propio grupo, también a los de IA. Al revés pasa lo mismo: en cuanto un bot tiene su propio grupo, deja de leer las reglas de *.
Sigue por aquí
Revisa tu web entera, no solo un archivo
Con una cuenta gratis auditas todas las páginas como las ve un rastreador, conectas Search Console y sigues tus posiciones. Sin tarjeta.
Empieza gratis