# https://mana.bzh — règles d'exploration
#
# Ce fichier dit DEUX choses, et il faut les lire ensemble :
#   1. les agents conversationnels sont les bienvenus sur les données publiques ;
#   2. rien de ce qui touche à une personne connectée ne s'explore.
#
# ⚠️ CE N'EST PAS UNE BARRIÈRE DE SÉCURITÉ. robots.txt est une convention : il
#    est respecté par les robots honnêtes et ignoré par les autres. Ce qui
#    PROTÈGE, c'est la RLS de la base et le fait qu'aucune route publique ne
#    serve de donnée personnelle. Ce fichier évite le gaspillage, il ne défend
#    rien.

# ── Le régime commun ────────────────────────────────────────────────────────
User-agent: *
Allow: /
# ⚠️ `Crawl-delay` EST UNE DIRECTIVE DE GROUPE, et c'est tout le piège : posée
#    en fin de fichier, elle ne valait que pour le DERNIER `User-agent` déclaré
#    — donc pour les moissonneurs d'entraînement, et pas pour `*` ni pour Bing,
#    qui est justement l'un des rares à la lire. Constaté le 26/08/2026. Elle
#    est donc répétée dans CHAQUE groupe. Google ne la lit pas ; la vraie
#    limitation est côté API : 60 requêtes par minute et par adresse, avec un
#    429 explicite.
Crawl-delay: 2

# Les espaces qui n'ont de sens que connecté. Les explorer ne rend qu'une
# coquille d'application : du budget d'exploration dépensé pour rien, et des
# pages vides dans l'index.
Disallow: /assos
Disallow: /assos/
Disallow: /admin
Disallow: /admin/
Disallow: /fam
Disallow: /proches
Disallow: /passeport
Disallow: /connexion-mana-demo
# Le guichet « c'est nous » est un formulaire : rien à indexer, et une page de
# formulaire indexée capte des recherches auxquelles elle ne répond pas.
Disallow: /revendiquer

# Les paramètres d'état de l'application ne créent pas de page nouvelle. Sans
# ces règles, la même page se présente sous des dizaines d'adresses.
Disallow: /*?asso=
Disallow: /*?parrain=
Disallow: /*?souvenir=
Disallow: /*?mock=
Disallow: /*?demo=

# ── Les agents conversationnels, nommément ──────────────────────────────────
#
# Ils héritent déjà du régime commun ci-dessus : ces blocs ne débloquent rien
# techniquement. Ils sont là parce qu'une autorisation EXPLICITE est un
# engagement lisible — par un opérateur qui vérifie, et par nous-mêmes dans six
# mois. Les données publiques de MANA (annuaire des associations, missions de
# bénévolat) viennent en grande partie de l'open data de l'État : les rendre
# atteignables est la suite logique, pas une concession.
#
# ⚠️ DEUX FAMILLES, QU'ON POURRA UN JOUR VOULOIR SÉPARER :
#    · RÉPONDRE — l'agent va chercher la page pour répondre à quelqu'un, ici et
#      maintenant (OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot,
#      DuckAssistBot…). C'est exactement ce qu'on veut.
#    · APPRENDRE — le robot moissonne pour entraîner un modèle (GPTBot,
#      Google-Extended, CCBot, Applebot-Extended, Meta-ExternalAgent…). C'est
#      un autre sujet, et la réponse est aujourd'hui OUI parce que la donnée est
#      sous Licence Ouverte. Revenir dessus se fait ici, en retirant le bloc —
#      pas ailleurs.

# — Répondre —
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Applebot
User-agent: Bingbot
User-agent: Googlebot
Allow: /
Allow: /api/public/v1/
Disallow: /assos
Disallow: /assos/
Disallow: /admin
Disallow: /admin/
Disallow: /fam
Disallow: /proches
Disallow: /passeport
Crawl-delay: 2

# — Apprendre —
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: cohere-ai
User-agent: YouBot
User-agent: Diffbot
Allow: /
Allow: /api/public/v1/
Disallow: /assos
Disallow: /assos/
Disallow: /admin
Disallow: /admin/
Disallow: /fam
Disallow: /proches
Disallow: /passeport
Crawl-delay: 2

# ── Où chercher ─────────────────────────────────────────────────────────────
Sitemap: https://mana.bzh/sitemap.xml

# Pour interroger les données plutôt que les lire page à page :
#   https://mana.bzh/llms.txt              ce qu'est ce site, en clair
#   https://mana.bzh/api/public/v1/        le catalogue des jeux de données
#   https://mana.bzh/api/public/v1/openapi.json    la spécification complète