Entraînement IA : une ligne de robots.txt pour dire non

Jusqu’à la semaine dernière, dire « non » à l’entraînement d’une IA sur ton site demandait une ligne par robot : GPTBot pour OpenAI, ClaudeBot pour Anthropic, Google-Extended pour Google, CCBot pour Common Crawl, et ainsi de suite à chaque nouveau venu. Le 30 octobre 2026, quatre entreprises ont annoncé le même jour qu’elles liraient toutes le même jeton. Deux lignes suffisent. Reste à savoir ce qu’elles protègent.

En bref : un Internet-Draft déposé à l’IETF le 30 octobre 2026 par Kevin Kelley, ingénieur chez Anthropic, décrit un jeton unique à écrire dans robots.txt, __usage_ai-training, pour refuser que le contenu d’un site serve à entraîner des modèles génératifs. Google, Microsoft, OpenAI et Anthropic ont annoncé le même jour qu’ils le respecteraient, à des échéances allant de maintenant à 2027. Ce n’est pas une norme : c’est une soumission individuelle, que l’IETF ne cautionne pas et qui expire le 3 mai 2027. Un piège est passé presque inaperçu : un site qui bloque déjà tous les robots avec User-Agent: * n’a, au sens de ce texte, exprimé aucune préférence. Et le signal ne sert qu’à qui contrôle son propre robots.txt.

Ce qui a été annoncé le 30 octobre : un jeton, quatre entreprises

Le point de départ est un document technique : « Machine-Readable Training Preference Signal », déposé à l’IETF le 30 octobre 2026 par Kevin Kelley, d’Anthropic. Il ne propose qu’une chose : un jeton de politique, __usage_ai-training, à placer dans un groupe robots.txt ordinaire. Le même jour, Google a publié un billet signé John Mueller, Microsoft un billet signé Krishna Madhavan, Principal Product Manager chez Bing, et OpenAI une page d’annonce.

Le vocabulaire, lui, vient du groupe de travail AIPREF de l’IETF, dont le document de référence définit l’entraînement comme le fait d’« utiliser une ressource pour modifier les paramètres appris d’un modèle d’IA générative », et exclut les modèles destinés uniquement à des tâches non génératives — classement, classification, scoring. Le classement d’un moteur de recherche sort donc du périmètre du jeton. C’est le point que tout le monde confond.

À quoi ressemble la ligne, et ce qu’elle dit exactement

L’exemple donné par le draft tient en trois lignes :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Traduction : pas d’entraînement sur le site, sauf sur ce qui se trouve sous /press-kit/.

Le mécanisme ne change rien à la syntaxe existante. Le draft l’écrit noir sur blanc : « This document introduces no new directive names and no new grammar » — le langage des chemins, la règle du chemin le plus long et la structure en groupes définis par le RFC 9309 restent identiques, et le jeton se compare sans tenir compte de la casse.

Et voici le détail que presque personne ne relève. Le draft précise que les groupes génériques, User-Agent: *, « MUST NOT be interpreted as matching the policy token », et que sans le jeton, aucune préférence n’a été exprimée. Conséquence : un site qui bloque déjà tous les robots du monde avec un Disallow: / générique n’a, au sens de ce texte, rien dit sur l’entraînement. Si tu te dis « mon site est déjà fermé, je suis tranquille », relis ton fichier.

Explorer, entraîner, citer : trois choses à ne pas confondre

Explorer (crawl), c’est le fait qu’un robot vienne télécharger ta page. Entraîner, c’est utiliser cette page pour modifier les poids d’un modèle. Grounding, c’est aller chercher ta page au moment où quelqu’un pose une question, pour répondre à partir d’elle et, en général, la citer.

Les trois sont indépendants. Refuser l’entraînement ne retire pas ton site des résultats de recherche, et n’empêche pas forcément une IA de résumer ta page en direct. La documentation crawler de Google le dit pour son propre jeton : « Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search ».

Microsoft va plus loin : son billet sépare deux réglages indépendants, AI Training et AI Grounding, remplace les anciennes balises NoArchive et NoCache, et ajoute une option DisallowExtended qui limite le grounding aux expériences maison (AI Mode, Copilot, Microsoft 365). Sa position tient en une phrase : « Publishers should not have to choose between being discoverable in Bing and deciding how generative models use their work. »

Google fait un choix inverse, et plus brutal. Si un site refuse l’entraînement avec le jeton sans mentionner Google-Extended, Google « interprétera cela comme si l’éditeur avait interdit Google-Extended ». Or Google-Extended couvre aussi le grounding dans Gemini : les sites qui l’autorisent « sont éligibles pour apparaître dans les réponses et recevoir des clics via le grounding dans Gemini Apps ». Le jeton commun te sort donc aussi des citations Gemini, sauf à écrire une règle Google-Extended séparée — les contrôles maison, précise l’entreprise, « continueront de fonctionner à côté de ce nouveau signal commun ».

Qui applique quoi, à partir de quand

Le mot « adoptent » cache des calendriers très différents.

Entreprise	Prise en compte	Détail
Anthropic	Commencé	« It’ll take us some time to add support across our services », déclare Kevin Kelley à TheNextWeb
OpenAI	« Dans les prochains mois »	Les contrôles GPTBot existants restent en vigueur
Microsoft Bing	1ᵉʳ février 2027	Préférences temporaires dans les Webmaster Tools dès le 15 décembre 2026
Google	Début 2027	« […] in early 2027 », dit sa documentation crawler

Deux autres dates Microsoft comptent : le 1ᵉʳ mars 2027, NoArchive et NoCache cessent d’être pris en compte pour l’entraînement ; le 30 septembre 2027, les préférences temporaires expirent. Microsoft écrit par ailleurs que ces préférences n’établissent ni licence ni paiement.

Quant au statut du document, mieux vaut ne pas le surévaluer. Sa fiche sur le datatracker de l’IETF est sans ambiguïté : soumission individuelle, « is not endorsed by the IETF », « has no formal standing in the IETF standards process », expiration le 3 mai 2027. Pas une norme : une convention que quatre entreprises ont promis de suivre.

Le pied européen : AI Act et article 4(3)

Pourquoi maintenant ? Google rattache sa décision au code de bonnes pratiques pour les modèles d’IA à usage général prévu par l’AI Act, dont la version finale date du 10 juillet 2025. Son chapitre Copyright, mesure 1.3, engage les signataires à employer des robots d’exploration « that read and follow instructions expressed in accordance with the Robot Exclusion Protocol (robots.txt) », tel que spécifié par le RFC 9309 — mesure adossée aux réservations de droits lisibles par machine de l’article 4, paragraphe 3, de la directive (UE) 2019/790.

Traduction : en Europe, un fichier texte inventé en 1994 et normalisé seulement en 2022 est devenu le véhicule juridique par lequel un éditeur réserve ses droits. D’où l’empressement à s’accorder sur un vocabulaire commun.

Si tu publies en ligne : ce que tu peux faire, et où tu ne peux rien

Le signal ne sert qu’à qui contrôle le fichier /robots.txt de son domaine. Et seulement celui-là : le RFC 9309 exige que les règles soient accessibles « in a file named “/robots.txt” (all lowercase) in the top-level path of the service ».

Tu contrôles : ton site personnel sur un nom de domaine à toi, un projet déployé sur Vercel, Netlify ou Cloudflare Pages, un blog auto-hébergé. Fichier à la racine, groupe ajouté, c’est fait.

Attention au piège GitHub Pages. Si ton projet est publié sur pseudo.github.io/mon-projet/, le robots.txt de ton dépôt n’est jamais lu : seul pseudo.github.io/robots.txt compte. Avec un nom de domaine personnalisé, ton projet devient la racine de son propre domaine et son fichier s’applique.

Tu ne contrôles rien : profil LinkedIn, article Medium, page Notion publique, Google Docs partagé, dépôt public sur GitHub. Là, c’est la plateforme qui décide. Si tu tiens à ton portfolio, héberge-le toi-même.

Ce que ça ne règle pas

Ce n’est pas rétroactif. Le jeton ne dit rien des modèles déjà entraînés. Ce qui a été absorbé l’est resté.

Il n’y a aucun mécanisme d’exécution. PPC Land relève qu’OpenAI qualifie sa propre participation de « voluntary effort », et cite des travaux de TollBit selon lesquels environ 15 % des robots de récupération de pages IA en Europe atteignaient des URL interdites. Le même article note que la table de remerciements du draft crédite 46 contributeurs — News Corp, Financial Times, BBC, l’Electronic Frontier Foundation, l’Internet Archive — mais que Meta et Amazon, présents dans cette table, n’ont pris aucun engagement public.

La logique même est contestée. La chercheuse Courtney Radsch écrit, le 2 novembre, qu’« an opt-out approach flips copyright on its head and puts the burden on right holders – including independent content creators and under-resourced news organizations ». Elle rappelle, données Cloudflare à l’appui, que moins de 40 % des domaines les plus visités publient seulement un robots.txt, et s’inquiète de voir les entreprises concernées écrire elles-mêmes la règle.

Et ton mémoire ? Vérification faite le 3 novembre 2026 : le robots.txt de theses.fr ne contient qu’un groupe User-agent: * avec un Crawl-delay: 5, un sitemap et une liste de chemins interdits. Aucune mention de GPTBot, ClaudeBot, Google-Extended, CCBot ni du nouveau jeton — au sens du draft, aucune préférence n’est donc exprimée pour les thèses françaises référencées là. Si la question te préoccupe, elle se règle au dépôt, avec les règles de diffusion de ton établissement.

Notre lecture

C’est un progrès d’ergonomie, pas une protection. Passer d’une règle par robot à une règle unique supprime une corvée réelle. Mais une convention volontaire, sans sanction, portée par un document que l’IETF ne cautionne pas, reste une promesse. Le code de bonnes pratiques européen lui donne un peu de poids ; c’est le seul levier sérieux.

La vraie nouvelle est pédagogique. Le 30 octobre a rendu publique une distinction que la plupart des gens ignoraient : explorer, entraîner et citer sont trois choses différentes, et les quatre entreprises ne les traitent pas pareil. Microsoft les sépare, Google les lie. Un même fichier produira des effets différents selon le moteur.

Concrètement, pour toi. Si tu as un portfolio, un blog technique ou un projet déployé sur ton propre domaine, ajoute le groupe aujourd’hui : trois lignes, aucun risque pour ton référencement, et tu es prêt pour février 2027. Si tu veux rester citable par les assistants tout en refusant l’entraînement, prévois une règle Google-Extended séparée. Et si tu publies surtout sur des plateformes, accepte-le : le fichier ne t’appartient pas.

FAQ

Est-ce que refuser l’entraînement va faire chuter mon site dans Google ?

Non. La documentation de Google indique que Google-Extended n’a pas d’incidence sur l’inclusion d’un site dans Google Search et n’est pas utilisé comme signal de classement. En revanche, le jeton commun y vaut interdiction de Google-Extended, ce qui te sort du grounding dans Gemini.

Mon robots.txt bloque déjà tous les robots. C’est suffisant ?

Non, et c’est le piège principal. Le draft précise qu’un groupe générique User-Agent: * ne correspond pas au jeton de politique, et que sans le jeton, aucune préférence n’a été exprimée. Il faut un groupe User-Agent: __usage_ai-training à part entière.

Ça protège mon mémoire déposé à l’université ?

Non, pas en soi. Le signal ne vaut que pour les sites dont tu contrôles le robots.txt. Pour un dépôt institutionnel, ce sont les règles de diffusion de ton établissement et le contrat que tu signes qui comptent.

Est-ce que ce texte est une norme internationale ?

Pas encore. C’est un Internet-Draft en soumission individuelle : le datatracker de l’IETF indique qu’il n’est pas cautionné par l’IETF, qu’il n’a aucun statut formel dans son processus de normalisation, et qu’il expire le 3 mai 2027.

Pour aller plus loin

• Déployer son premier site : où héberger un projet, et quand tu reprends la main sur ton robots.txt.
• Le filigrane invisible de ChatGPT et l’Europe : l’autre chantier européen de traçabilité.
• L’IA et l’intégrité académique à l’université : ce que les établissements attendent de toi.
• Le connecteur theses-hal : chercher des thèses françaises et des documents HAL.