# El wildcard ya permite todo; los grupos con nombre son la declaración # explícita de que este sitio QUIERE ser leído y citado por asistentes de IA # (vendemos integración MCP: bloquearlos sería incoherente). Cada grupo nombrado # reemplaza por completo al de * para ese bot, así que cada uno lleva su Allow. User-agent: * Allow: / # El backoffice no es contenido. La protección real es la sesión (todo /admin/ # redirige al login) y el noindex que llevan sus respuestas; esta línea es para # no gastarle rastreo a nadie. Los grupos con nombre de más abajo reemplazan por # completo a este para su bot, y no la repiten: ninguno de esos crawlers va a # encontrar /admin/, porque no hay un solo enlace hacia él en el sitio. Disallow: /admin/ # OpenAI: entrenamiento, índice de ChatGPT Search y fetch en vivo. User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / # Anthropic: entrenamiento, búsqueda y fetch en vivo. User-agent: ClaudeBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / # Perplexity: retrieval con citación y fetch en vivo. User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / # Google-Extended controla grounding/entrenamiento de Gemini; los AI Overviews # usan el Googlebot normal, que ya pasa por el wildcard. User-agent: Google-Extended Allow: / # Common Crawl alimenta el conocimiento paramétrico de muchos modelos. User-agent: CCBot Allow: / Sitemap: https://heymark.ai/sitemap-index.xml Sitemap: https://heymark.ai/sitemap-news.xml