# robots.txt : parcourslib.fr
# Dernière mise à jour : 2026-09-27
#
# NE JAMAIS bloquer /_next/ : Google a besoin du JS et du CSS pour rendre
# les pages. Un Disallow sur /_next/ casse le rendu et l'indexation.

# ─────────────────────────────────────────────────────────────
# Règles générales
# ─────────────────────────────────────────────────────────────
User-agent: *
Allow: /

# Application : contenu personnalisé par utilisateur, aucune valeur SEO.
# Couvre aussi /dashboard/login, /register, /onboarding, /abonnement.
Disallow: /dashboard

# Callback d'authentification
Disallow: /auth

# Route handlers Next.js, si un jour ajoutés.
# ⚠ L'API de production n'est PAS ici (API Gateway, autre host) :
#    cette ligne ne protège donc rien aujourd'hui. Voir note dans le suivi.
Disallow: /api/

# Recherche paramétrée : convention réservée pour le moteur de formations.
# /recherche reste indexable ; ses combinaisons de filtres, non.
# À revalider quand le moteur sortira (forme exacte des URLs).
Disallow: /recherche?*
Disallow: /recherche/?*

# Paramètres de tracking et de session : évite des URLs dupliquées
# et du budget de crawl gaspillé.
Disallow: /*?*utm_
Disallow: /*?*gclid=
Disallow: /*?*fbclid=
Disallow: /*?*ref=

# ─────────────────────────────────────────────────────────────
# Crawlers IA et moteurs génératifs : autorisés explicitement
#
# ⚠ Un groupe user-agent nommé REMPLACE le groupe « * », il n'en hérite pas.
#   Les Disallow ci-dessus doivent donc être répétés ici, sinon ces robots
#   auraient accès à /dashboard, /auth et /api/.
# ─────────────────────────────────────────────────────────────
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: cohere-ai
User-agent: anthropic-ai
Allow: /
Disallow: /dashboard
Disallow: /auth
Disallow: /api/
Disallow: /recherche?*
Disallow: /recherche/?*

# ─────────────────────────────────────────────────────────────
# Common Crawl : bloqué volontairement.
#
# Les dumps Common Crawl sont publics et téléchargeables. Autoriser CCBot
# offrirait à n'importe qui la matrice EDS (78 doublettes × formations) en
# extraction de masse, sans jamais toucher nos serveurs, donc sans aucun
# rate limiting possible. La valeur GEO qui compte pour nous vient des
# crawlers de récupération (OAI-SearchBot, PerplexityBot, Claude-SearchBot),
# pas de la présence dans un corpus d'entraînement.
#
# Pour l'autoriser : remplacer le Disallow par « Allow: / ».
# ─────────────────────────────────────────────────────────────
User-agent: CCBot
Disallow: /

# ─────────────────────────────────────────────────────────────
Sitemap: https://parcourslib.fr/sitemap.xml