# Epicodes — robots.txt # https://epicodes.com.ar User-agent: * Allow: / Disallow: /cdn/covers/*-md.webp Disallow: /cdn/covers/*-thumb.webp # checkout/mi-cuenta/pedido/login NO llevan Disallow a proposito: las 4 ya # tienen en su HTML (fuente # unica de verdad para no-indexacion). Disallow + noindex es una combinacion # contradictoria clasica: si hay Disallow, el crawler nunca puede *fetchear* # la pagina para *ver* el noindex, asi que una URL con backlink externo puede # terminar igual indexada sin snippet en vez de fuera del indice. Auditoria # 2026-07-31. # Variantes internas de portada (`-md` 400px, `-thumb` 200px): son escalones # de renderizado, NO contenido. Un crawler que indexa el catalogo necesita UNA # imagen por juego, no tres. La portada full sigue permitida, asi que Google # Imagenes y los asistentes no pierden nada indexable. # # Motivo (2026-08-18): un pico de crawlers bajo las 3 variantes de casi toda # la biblioteca (588 full + 577 md + 561 thumb = 89,5 MB en 3 horas, el 82,8% # del egress del dia). Las dos variantes internas eran 35 MB de eso. # # ⚠ SIN `$` al final a proposito: las URLs llevan `?v=` para cache # busting, y un patron anclado con `$` no matchearia ninguna. # ⚠ robots.txt NO afecta al browser: los usuarios siguen recibiendo las 3 # variantes normalmente. Solo lo respetan los crawlers educados. # Buscadores y asistentes con IA: bienvenidos a leer y citar el catalogo # publico. Decision Nico 2026-07-06: abrir a la IA como canal de # descubrimiento (ChatGPT, Perplexity, Gemini/AI Overviews, Claude, etc). # Mapa curado del sitio para asistentes en /llms.txt User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: GPTBot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: ClaudeBot User-agent: anthropic-ai User-agent: Claude-Web User-agent: Applebot-Extended User-agent: Amazonbot User-agent: Meta-ExternalAgent User-agent: cohere-ai User-agent: Bingbot User-agent: CCBot Allow: / # Los grupos de User-agent son INDEPENDIENTES: un bot que matchea este grupo # ignora el de `*` por completo. Por eso las reglas de variantes se repiten # aca; sin esto Bingbot y los asistentes seguirian bajando las 3. Disallow: /cdn/covers/*-md.webp Disallow: /cdn/covers/*-thumb.webp Sitemap: https://epicodes.com.ar/sitemap.xml