Le fichier robots.txt managé que Cloudflare propose aux sites qu’il protège interdit nommément 8 robots d’IA, dont GPTBot, ClaudeBot et Google-Extended, selon sa documentation du 3 août 2026. Ce réglage par défaut d’un prestataire n’a été arbitré par aucune direction de la communication. Or bloquer GPTBot ne retire rien des réponses de ChatGPT quand il cherche en ligne. Bloquer OAI-SearchBot en fait sortir le site. Bloquer Google-Extended ne le retire pas des Aperçus IA de Google. Chaque robot appelle une décision séparée, avec son propriétaire chez vous.
En bref (TLDR)
- 3 familles de robots, entraînement, recherche et agent déclenché, se règlent séparément. Bloquer GPTBot ne retire rien des réponses de ChatGPT avec recherche, bloquer OAI-SearchBot en fait sortir le site.
- Bloquer Google-Extended laisse le site dans les Aperçus IA et le Mode IA. Depuis le 31 août 2026, seule l’exclusion de la Search Console l’en retire, section par section si besoin.
- Le 30 octobre 2026, Google, Microsoft et OpenAI annoncent qu’ils respecteront un jeton commun de refus d’entraînement, à partir de 2027. Chez Google, il retire aussi le site de l’application Gemini, sauf autorisation explicite de Google-Extended.
- Le fichier exprime une préférence : 12 des 18 systèmes testés en mai 2026 restituaient un contenu bloqué. Un pare-feu refuse parfois un robot autorisé.
- Sur 66 grands éditeurs (Muck Rack, août 2026), 81% de ceux qui bloquent le robot de recherche de Claude n’y sont presque jamais cités, contre 12% de ceux qui l’autorisent.
- Chaque réglage a un propriétaire : la communication pour l’enjeu et la Search Console, l’informatique pour l’exécution, le juridique pour les contrats, la direction pour l’entraînement.
Xavier Degraux ► Consultant & formateur LinkedIn™, IA et GEO · Prise de parole et réputation numériques des organisations et de leurs dirigeant.es · Employee advocacy ► +500 organisations accompagnées depuis 2013 ► 10 ans journaliste éco (L’Echo, Trends)
J’ai rédigé cet article et créé ses graphiques avec l’aide de l’IA. Ses chiffres viennent du Guide pratique du GEO pour les directions de la communication, que j’ai écrit avec l’aide de Céline Naveau. Chacun renvoie à sa source.
Que change un blocage pour votre organisation ?
Un robot, ou « crawler », est un programme qui lit les sites. Les éditeurs de moteurs génératifs en emploient 3 familles, dont la finalité commande l’effet d’un blocage.
Ce blocage s’écrit d’abord dans le fichier robots.txt, le fichier texte placé à la racine d’un site qui déclare aux robots ce qu’ils ont le droit de lire.
Ce fichier de quelques lignes décide de la matière à partir de laquelle un moteur parlera de votre organisation, ou se taira sur elle.
Quelles sont les 3 familles de robots d’IA ?
Les 3 familles de robots d’IA et le coût d’un blocage
- Le robot d’entraînement collecte des pages pour entraîner de futurs modèles. GPTBot, écrit OpenAI, « crawls content for training ». Le bloquer réduit à terme ce que le modèle sait de vous quand il répond sans chercher, sans rien retirer des réponses avec recherche.
- Le robot de recherche alimente un index, interrogé au moment où quelqu’un pose une question. OpenAI décrit OAI-SearchBot comme « used to surface websites in search results in ChatGPT’s search features ». Le bloquer retire votre site des réponses.
- L’agent déclenché va chercher une page précise parce qu’une personne vient de la demander, par exemple en collant une adresse dans la conversation. OpenAI le nomme ChatGPT-User, Anthropic Claude-User, Perplexity Perplexity-User. Son respect du fichier robots.txt varie d’un éditeur à l’autre.
Bloquer GPTBot fait-il sortir le site de ChatGPT ?
Non. OpenAI l’écrit dans sa documentation des robots : « a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot ».
L’éditeur précise l’effet du blocage du robot de recherche : « Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links ».
Pour une direction de la communication, la confusion entre les 2 premières familles coûte cher. Une organisation qui bloque GPTBot en croyant se protéger d’une citation erronée n’a rien changé à sa visibilité dans les réponses avec recherche.
Celle qui bloque OAI-SearchBot est sortie des réponses, avec un lien nu pour seul reste. Les réponses continuent pourtant de parler d’elle, nourries par d’autres sources (comment être référencé sur ChatGPT).
Un même robot sert-il à plusieurs usages ?
Oui. Ce mélange limite la portée du tri. Cloudflare, qui vend la protection des sites contre les robots, mesure que « more than one-third of crawler activity on our network still comes from mixed-use bots that make it impossible for content owners to distinguish crawl intent » (Cloudflare, 1er juillet 2026).
Un robot à usage mixte collecte pour plusieurs finalités sous un seul nom. Face à lui, le réglage différencié que documentent les éditeurs devient en partie théorique.
Refuser l’entraînement a-t-il un coût ?
Apple, Google et OpenAI écrivent que refuser l’entraînement ne retire pas un site de leur dispositif de réponse. Apple est le plus net : « Webpages that disallow Applebot-Extended can still be included in search results » (Apple, 4 septembre 2026).
Google écrit la même chose de Google-Extended, OpenAI pose l’indépendance de ses réglages. Une nuance chez Google : le même jeton commande l’ancrage de l’application Gemini, et le refuser en retire le site. Pour le reste, le coût se paie ailleurs, lentement. Quand un moteur répond sans chercher, son propos sur une organisation vient de la mémoire de l’entraînement : la couverture gagnée, Wikipédia, Wikidata.
Le guide en fait un canal de visibilité à part entière, qui se nourrit lentement et se corrige lentement. La décision sur les robots d’entraînement se juge donc sur plusieurs années.
Pour la direction de la communication, la première question à poser n’a rien de stratégique. Elle relève du constat : quels robots le site laisse-t-il entrer aujourd’hui ? Qui en a décidé ?
Bloquer Google-Extended retire-t-il un site des Aperçus IA ?
Non. C’est le contresens le plus fréquent. Google-Extended n’est même pas un robot : Google écrit qu’il « doesn’t have a separate HTTP request user agent string » et qu’il sert « in a control capacity » (Google, robots courants, 14 juillet 2026).
Son périmètre déclaré couvre l’entraînement des futurs modèles Gemini et l’ancrage dans l’application Gemini et dans Vertex AI. Google ajoute qu’il « does not impact a site’s inclusion in Google Search nor is it used as a ranking signal ».
L’ancrage désigne le recours, au moment de répondre, à l’index d’un moteur de recherche pour appuyer le texte généré. Les Aperçus IA et le Mode IA sont des fonctions de la recherche Google.
Ces 2 fonctions échappent donc à ce jeton. Google l’écrit dans « AI features and your website » : « AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access ».
Quels réglages Google propose-t-il ?
Google dispose en réalité de 3 réglages. Aucun ne remplace les 2 autres.
| Réglage chez Google | Ce qu’il couvre | Ce qu’il laisse intact |
|---|---|---|
| Googlebot dans le fichier robots.txt | La recherche classique, les Aperçus IA et le Mode IA | Rien dans la recherche : le bloquer revient à sortir du référencement |
| Google-Extended dans le fichier robots.txt | L’entraînement des futurs modèles Gemini, l’ancrage dans l’application Gemini et dans Vertex AI | Les Aperçus IA, le Mode IA, le classement |
| Exclusion dans la Search Console, depuis le 31 août 2026 | Les Aperçus IA, le Mode IA, les fonctions génératives de Discover | Le classement classique, l’entraînement |
Sources : Google, robots courants, 14 juillet 2026, Google, « AI features and your website », 10 décembre 2025, aide de la Search Console. L’absence d’effet de Google-Extended sur les Aperçus IA et le Mode IA se déduit de ces 3 pages lues ensemble : Google ne l’écrit pas en une phrase.
Le fichier managé de Cloudflare sort donc le site de l’ancrage de l’application Gemini, l’un des 8 moteurs suivis par le guide, sans le sortir des Aperçus IA.
La grille d’audit du guide en tire une question : ce blocage résulte-t-il d’une décision écrite de l’organisation, ou du réglage par défaut d’un prestataire ?
Les 8 robots de cette liste sont Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent (Cloudflare, 3 août 2026).
Comment fonctionne l’exclusion de la Search Console ?
Depuis le 31 août 2026, la Search Console permet à tout site de se retirer des Aperçus IA, du Mode IA et des fonctions génératives de Discover. Le site reste dans la recherche classique.
La Search Console est l’outil gratuit par lequel Google rend compte à un site de sa présence dans la recherche. Discover est le fil de contenus que Google propose sur mobile.
Ce réglage vient d’une exigence de l’autorité britannique de la concurrence, qui en a fixé le principe le 3 juin 2026 avec une attribution par liens clairs, avant que Google l’étende au monde.
L’exigence britannique entre en vigueur 6 mois après sa publication et prévoit des contrôles page par page sous 9 mois.
Selon Google, l’exclusion produit 3 effets. Les liens du site disparaissent de ces fonctions. Son contenu cesse d’y servir d’appui à une réponse, en 1 à 2 jours, parfois davantage.
Les impressions correspondantes quittent le rapport de la Search Console. L’exclusion laisse intacts le classement classique et l’entraînement, qui relève de Google-Extended. Un contenu voisin, publié ailleurs, garde la possibilité de s’afficher à sa place.
Exclure une seule section du site, est-ce possible ?
Oui. Le réglage s’hérite d’une propriété de la Search Console, c’est-à-dire d’un périmètre de site déclaré à Google, vers celles qu’elle contient : du site entier à ses sous-sites, puis à ses répertoires.
Une organisation exclut donc une section, un espace presse ou une base documentaire, sans toucher au reste. L’inclusion reste le réglage par défaut.
Que perd un site qui s’exclut ?
Un second dispositif de Google va en sens inverse. Depuis le 20 août 2026, un site invite ses lecteurs à le désigner comme source préférée, par un bouton fourni par Google ou par un lien direct.
Ses contenus remontent alors davantage dans les « À la une » et portent un badge dans les Aperçus IA et le Mode IA.
La condition : être inclus dans les fonctions génératives. L’exclusion et la source préférée ne se cumulent donc pas.
Google annonçait le 27 mai 2026 des clics 2 fois plus fréquents vers une source préférée, puis plus de 600.000 sources le 20 août 2026, sans méthode publiée.
Pour une organisation qui ne vend pas de contenu, l’exclusion retire surtout sa propre version des faits d’une réponse qui, elle, continuera de s’afficher.
Pour la direction de la communication, ce réglage se décide comme le reste : section par section, par écrit, avec son motif, sa date et le nom de qui l’a pris.
Que coûte un blocage en citations et en trafic ?
Les mesures disponibles convergent sur les citations, chez au moins un moteur. Sur le trafic, les versions successives d’une même étude donnent des chiffres différents.
Un éditeur qui bloque est-il encore cité ?
Muck Rack, qui vend un logiciel de relations presse et l’outil de mesure, a relevé en août 2026 la situation de 66 grands éditeurs de presse face à 3 moteurs.
Grands éditeurs presque jamais cités, selon qu’ils bloquent ou autorisent le robot du moteur
Chez Claude et chez Gemini, l’écart est massif. ChatGPT échappe au schéma : 56% des éditeurs qui bloquent son robot de recherche n’y sont presque jamais cités, mais 24% de ceux qui l’autorisent non plus.
Le rapport ne définit pas « presque jamais ». Bloquer un robot de recherche reste une décision qui se paie en citations chez au moins un moteur.
Une étude universitaire déposée le 13 mai 2026 regarde l’autre face. Ses auteurs ont servi des jetons témoins, des marqueurs uniques, à chaque visiteur d’un site, puis les ont recherchés dans les réponses de 22 systèmes conversationnels.
Sur les 18 dont l’agent était connu, 12 ont continué à restituer le contenu malgré le blocage.
Le contenu revenait même quand le site était hors ligne : une collecte antérieure, un index tiers ou un miroir l’expliquent aussi.
L’étude établit une restitution, sans établir un franchissement du blocage. Elle et Muck Rack n’observent pas le même objet, la restitution d’un contenu d’un côté, la citation d’un éditeur de l’autre. Aucune des 2 n’invalide l’autre.
Bloquer les robots d’IA fait-il perdre du trafic ?
2 chercheurs de Rutgers et de Wharton suivent 30 éditeurs de presse, dont 24 ont bloqué un jour les robots d’IA dans leur fichier robots.txt (Zhao et Berman).
Dans la version 4 de leur étude, du 15 avril 2026, ils trouvent une baisse d’environ 7% des visites hebdomadaires dans les 6 semaines qui suivent le blocage, chez les seuls grands éditeurs. L’effet reste non significatif sur un panel de foyers américains.
Le même papier donnait 23,1% dans sa version du 7 janvier 2026, puis 10% dans celle du 10 février. Les versions changent de fenêtre et de source de données (Similarweb, Semrush, Comscore).
Les blocages étudiés datent d’avant mai 2024. Le premier chiffre circule encore dans la presse spécialisée. Une prépublication se cite avec le numéro de sa version.
Pour une organisation qui n’édite pas de presse, ces mesures se transposent mal. Elles disent où regarder : la perte de citations se mesure déjà, la perte de visites reste discutée d’une version à l’autre.
Le fichier robots.txt suffit-il à fermer la porte ?
Non. La norme qui le régit, la RFC 9309 de septembre 2022 (texte fondateur, toujours en vigueur), écrit que ses règles « are not a form of access authorization » et que le protocole « is not a substitute for valid content security measures ».
Cloudflare dit la même chose dans sa documentation : « robots.txt compliance is voluntary ». Le fichier exprime une préférence.
Combien de sites bloquent les robots d’IA ?
Une étude universitaire déposée le 7 octobre 2025 donne l’ampleur des blocages déclarés dans ce fichier. 25% des 1.000 premiers sites restreignent au moins un robot d’IA, environ 10% sur le million de premiers sites.
Sur ce million, GPTBot est bloqué par 10,6% des sites, ClaudeBot par 9,1%, Google-Extended par 8,9%. Sur 3.668 sites d’information, 34,2% refusent GPTBot.
Part des sites qui restreignent des robots d’IA dans leur fichier robots.txt
Un pare-feu bloque-t-il des robots autorisés ?
Oui, et les chiffres précédents l’ignorent. Le pare-feu applicatif, le filtre qui protège un site des attaques et des robots abusifs, décide sur d’autres critères, comme l’adresse d’origine de la requête.
Ce filtre refuse parfois à l’entrée un robot que le fichier autorise. OpenAI le reconnaît dans son aide aux annonceurs : « These systems can mistakenly block legitimate crawlers, often returning 403 Forbidden errors ».
Un fichier robots.txt irréprochable ne garantit donc pas qu’un seul robot soit entré. Le constat se fait dans les journaux du serveur, le relevé automatique des requêtes reçues par le site.
La question à leur poser : sur les 90 derniers jours, quels agents, à quelles adresses, ont reçu quel code de réponse ? Le code 403 signale un refus, le code 429 un excès de requêtes.
Le guide demande aussi de confronter les adresses relevées aux listes publiées par les éditeurs, pour distinguer un robot authentique d’un agent qui emprunte son nom. Un filtre fondé sur le seul nom déclaré laisse passer cet imposteur.
Les agents déclenchés respectent-ils le fichier ?
Les éditeurs se contredisent ouvertement. Google écrit que ses récupérateurs déclenchés par un utilisateur « generally ignore robots.txt rules ». OpenAI écrit que le fichier « may not apply » à ChatGPT-User.
Perplexity écrit que son agent « generally ignores robots.txt rules », Meta que le sien « may bypass robots.txt ». À l’inverse, Anthropic écrit que ses 3 agents, Claude-User compris, respectent le fichier, comme Mistral AI pour les siens.
Une même ligne écrite une seule fois ne produit donc pas le même effet partout.
Combien de temps avant qu’un changement prenne effet ?
Les délais de prise en compte varient de plusieurs ordres de grandeur et sont rarement publiés. Selon la documentation des éditeurs relevée par le guide :
- Meta : 24 heures
- OpenAI, pour OAI-SearchBot : environ 24 heures
- DuckDuckGo : 72 heures
- Amazon : jusqu’à 30 jours, par mise en cache du fichier
Google, Anthropic, Perplexity et Apple n’en publient pas. Pour une direction de la communication, la date d’une décision diffère donc de la date de son effet, et le contrôle se fait dans les journaux du serveur.
Quel robot échappe à la liste ?
Celui de Brave Search. Ce robot ne s’annonce pas sous un nom propre et ne parcourt pas ce qui est fermé au robot de Google.
Pour retirer une page de son index, Brave renvoie à la directive noindex, une instruction placée dans le code de la page (page d’aide de Brave, consultée le 18 octobre 2026).
Un site ouvert à Google l’est donc aussi à Brave, et un pare-feu réglé pour n’admettre que les robots nommés n’offre aucun moyen d’autoriser Brave en particulier.
Le sujet compte pour Claude. Searchable, éditeur d’un outil de suivi, a trouvé en juillet 2026 que 63% des sites consultés par Claude figuraient dans les 10 premiers résultats de Brave Search pour la même question, contre 34% dans ceux de Google. Anthropic ne confirme pas s’appuyer sur cet index.
Un robot autorisé lit-il ce que voit le visiteur ?
Pas toujours. Ouvrir la porte ne sert à rien si la page servie au robot ne contient pas le texte. Un test publié le 9 juin 2026 et mis à jour le 2 juillet 2026 a soumis 12 assistants à un protocole simple (Andre Alpar, Search Engine World).
Chacun reçoit une adresse secrète qui lui est propre. Le code de la page contient un faux numéro de référence, et le vrai n’apparaît qu’en exécutant un fichier JavaScript externe, un programme que le navigateur déclenche après avoir chargé la page.
Les assistants d’IA exécutent-ils le JavaScript ?
Ce que 12 assistants ont restitué d’une page dont le vrai numéro dépend du JavaScript
7 assistants sur 12 ont restitué le faux numéro, dont les 5 principaux systèmes américains. L’auteur écrit : « the entire US top tier reads raw HTML only ».
Les 5 qui ont restitué le vrai numéro sont 4 systèmes chinois et un système français. Une étude de Vercel et MERJ du 17 décembre 2024, source fondatrice faute de mesure plus récente sur le même périmètre, aboutissait déjà à ce constat.
Le test vise un seul chemin, celui de l’adresse collée dans une conversation, à un instant donné, avec une question par assistant.
Le comportement des robots d’indexation programmés reste hors de sa portée. Google fait exception et le documente : ses pages entrent dans une file d’attente de rendu, où elles restent « a few seconds, but it can take longer than that », sans valeur maximale publiée (Google Search Central).
Que perd une page derrière une bannière de cookies ?
Son texte, chez Google. Le service de rendu « does not retain state across page loads », efface les cookies d’une page à l’autre, et Google prévient : « Expect Googlebot to decline user permission requests » (Google Search Central).
Une page dont le corps n’apparaît qu’après un clic sur une bannière de consentement n’est donc jamais servie dans ces conditions. La fréquence du cas sur le web reste sans mesure publiée.
Le site MarketerFirst a mesuré le 25 août 2026 l’écart entre ce que voit le visiteur et ce que reçoit le robot, sur 4 pages produit de grands distributeurs.
De 49% à 80% des blocs de texte visibles manquent dans le code servi, selon la page. Sur l’une d’elles, le prix lui-même manque.
Part des blocs de texte visibles absents du code servi au robot, sur 4 pages produit
Le texte de MarketerFirst annonce une fourchette de 49% à 89% que son propre tableau contredit, ses 4 valeurs relevées allant de 49% à 80%.
Un rapport publié en PDF est-il lu ?
Par Google, oui : il range le PDF parmi les types de fichiers qu’il indexe (Google Search Central, 3 février 2026). Aucune mesure publiée n’établit en revanche la part des PDF dans les citations des moteurs génératifs, ni leur traitement par les autres assistants.
Le guide qualifie de pari un rapport publié en PDF sans version en pages web. Les contenus protégés par un mot de passe, eux, ne sont pas lus du tout.
Pour la direction de la communication, la demande à l’informatique ou à l’agence se résume à une question de recette. Le texte que vous voulez voir cité, nom, coordonnées, prix, dates, dirigeants, chiffres publiés, est-il présent dans le code servi au premier appel, sans JavaScript ni cookie de consentement ?
Faut-il bloquer les robots d’IA ?
2 positions coexistent, sans décision publiée qui les départage. Pour la première, le fichier n’autorise rien : la norme RFC 9309 écrit que ses règles ne valent pas autorisation d’accès et ne remplacent pas une mesure de sécurité.
Pour la seconde, le fichier réserve des droits : la Content Signals Policy publiée par Cloudflare le 24 septembre 2025 y introduit 3 signaux, search, ai-input pour l’alimentation d’un modèle au moment de la question, et ai-train pour l’entraînement.
Le texte de Cloudflare affirme en capitales que ces restrictions valent réservation expresse de droits au sens de l’article 4 de la directive européenne 2019/790 sur le droit d’auteur.
Cette portée juridique est revendiquée par une entreprise privée. Aucun texte ni aucune décision lus pour le guide ne la confirme ou ne l’infirme.
Le 3 novembre 2026, après la date d’arrêt du guide, l’avocat général de la Cour de justice de l’Union européenne a rendu ses conclusions dans l’affaire Like Company contre Google (C-250/25). Selon lui, l’entraînement d’un modèle sur des contenus protégés relève en règle générale de l’exception de fouille de textes et de données, à 2 conditions : un accès licite aux contenus, et l’absence de réserve des droits exprimée par un moyen lisible par machine.
Il range le fichier robots.txt parmi ces moyens et rappelle que le réglage Google-Extended s’appuie sur lui. Il ne se prononce pas sur les signaux de Cloudflare. Ses conclusions ne lient pas la Cour, dont l’arrêt n’est pas daté.
D’autres dispositifs avancent en parallèle, sans être en vigueur. Le standard privé RSL revendiquait le 10 décembre 2025 l’adhésion déclarative de « 1,500+ media organizations, brands, and technology companies », chiffre produit par son promoteur.
Le groupe AIPREF de l’organisme de normalisation de l’internet prépare 2 documents, révisés les 18 et 19 août 2026 et toujours à l’état de brouillon.
Une seule ligne suffira-t-elle à refuser l’entraînement ?
Bientôt, chez une partie des éditeurs. Le 30 octobre 2026, un ingénieur d’Anthropic dépose à l’organisme de normalisation de l’internet un projet individuel, qui n’a ni statut officiel ni adoption par le groupe AIPREF. Il propose un jeton commun, « __usage_ai-training », à écrire dans le fichier robots.txt pour refuser l’entraînement à tous les éditeurs qui le respectent, en une fois :
User-Agent: __usage_ai-training Disallow: /
Le même jour, Google, Microsoft et OpenAI annoncent qu’ils le respecteront. Microsoft à partir du 1er février 2027 (Bing, 30 octobre 2026), Google en 2027 (Google Search Central, octobre 2026), OpenAI dans les prochains mois, sans renoncer à ses réglages actuels. Anthropic a commencé à l’appliquer. Meta n’a rien confirmé.
Le jeton reste une préférence, comme le reste du fichier : rien n’empêche techniquement un robot de passer outre.
Le piège se trouve chez Google. Selon les comptes rendus de l’annonce, Google lira ce jeton comme un refus de Google-Extended quand le fichier ne nomme pas Google-Extended. Or Google-Extended commande aussi l’ancrage dans l’application Gemini. Une organisation qui écrit cette seule ligne pour refuser l’entraînement sortira donc aussi des réponses de Gemini, sauf si elle autorise Google-Extended explicitement.
Microsoft, de son côté, sépare l’entraînement et l’ancrage. À partir du 1er février 2027, une page peut refuser d’alimenter les réponses d’IA de Microsoft, ou réserver cet usage à ses seuls services, par une balise ou un en-tête propre à Bingbot. Ce réglage ne s’écrit pas dans le fichier robots.txt : Bing précise qu’il n’existe pas de préférence d’ancrage valable pour tout le site. Il ne touche pas au classement classique. Les balises NoArchive et NoCache cesseront de valoir préférence pour l’IA après le 1er mars 2027.
Un contrat passe-t-il outre le fichier robots.txt ?
Un contrat s’ajoute parfois au fichier. Meta a notifié début octobre 2026 à ses clients professionnels, c’est-à-dire à toute organisation qui gère une page Facebook, un compte Instagram ou WhatsApp, ou qui achète de la publicité, de nouvelles conditions commerciales acceptées par la simple poursuite de l’usage.
Selon Nieman Lab le 15 octobre 2026, une clause y autorise Meta à collecter par des logiciels automatisés le contenu des sites associés aux produits ou services du client, notamment pour entraîner ses produits.
Des juristes interrogés la jugent susceptible de primer sur un blocage écrit dans le fichier robots.txt. Meta répond que ce fichier reste le moyen de gérer l’accès.
Le 17 octobre, selon The Verge citée par PPC Land, Meta retire la phrase sur l’entraînement et limite ces conditions à ses produits publicitaires et professionnels. La collecte reste autorisée sur toute adresse liée aux produits du client, sans engagement de respecter le fichier robots.txt.
Le 23 octobre, Meta a indiqué à l’agence Reuters reporter l’entrée en vigueur au 20 novembre 2026.
Des organisations d’éditeurs de presse européennes, britanniques et américaines en demandent la suspension ou le retrait, et des plaintes ont été portées devant les autorités de concurrence de l’Union européenne et du Royaume-Uni (je reviens sur ces conditions dans un article dédié).
La question se pose donc à 2 endroits, le fichier du site et les conditions acceptées par ses comptes, et la seconde relève du service juridique.
Une option d’hébergeur décide-t-elle à votre place ?
Parfois, sans le dire. Depuis le 12 février 2026, Cloudflare propose aux sites qui l’activent de servir aux programmes qui la demandent une version Markdown de leurs pages, un format de texte brut plus léger à traiter.
Sa documentation, mise à jour le 9 octobre 2026, précise qu’un site qui n’envoie pas lui-même de signal d’usage reçoit celui de Cloudflare : « ai-train=yes, search=yes, ai-input=yes ».
Activée d’un clic, l’option autorise donc l’entraînement, la recherche et l’alimentation des réponses. Google écrit de son côté que sa recherche n’emploie pas de version Markdown, comme elle n’emploie pas le fichier llms.txt, un autre fichier souvent confondu avec le fichier robots.txt.
Que retenir pour une organisation qui ne vend pas de contenu ?
Pour elle, selon le guide, l’arbitrage ne vise pas un modèle économique. Il vise ce qu’elle accepte de laisser dire d’elle sans y avoir contribué.
Autoriser les robots de recherche garde sa version des faits dans les réponses. Le refus de l’entraînement se discute davantage, puisqu’il agit sur un canal lent, et se tranche au niveau de la direction.
Je reviens sur la place du site dans ce travail dans l’article GEO, SEO, AEO : quelle différence pour une organisation ?.
Qui décide, chez vous ?
La grille d’audit du guide nomme, pour chaque question, la fonction qui détient l’information. Le mandat de correction, décrit dans l’article sur la correction des erreurs de ChatGPT, dit qui tranche. Appliqués aux robots, les 2 donnent cette répartition.
- La communication porte l’enjeu, la version des faits que l’organisation accepte de voir circuler. Elle lit le fichier robots.txt en vigueur et décide, section par section, de l’inclusion du site dans les fonctions génératives de Google, par écrit, avec son motif.
- L’informatique ou l’hébergeur tient le fichier, le pare-feu, les options du prestataire et les journaux du serveur. L’informatique répond sur l’état des lieux et exécute, sans arbitrer seule.
- Le juridique suit les conditions acceptées par les comptes de l’organisation sur les plateformes, qui ouvrent parfois l’accès au site par contrat.
- La direction générale tranche le refus ou l’autorisation des robots d’entraînement, par une décision tracée, datée, prise par une personne nommée.
Le site relève rarement de la seule informatique ou de la seule agence, et le guide suggère une ligne « Digital et SEO » dans le tableau des titulaires du mandat.
Depuis le 31 août 2026, la décision d’inclusion dans les fonctions d’IA de Google s’ajoute à ce mandat. Le réglage se fait en un clic, la décision non, et tant que personne n’en a le mandat, Google décide par défaut.
Qu’est-ce qu’une preuve que c’est fait ?
Le plan d’action du guide sépare une action faite d’une action annoncée. La mention « robots autorisés » ne constitue pas une preuve.
La ligne du fichier robots.txt, sa date de mise en ligne et le passage du robot relevé dans les journaux du serveur en forment une.
Dans un exemple construit par le guide pour une entreprise B2B de taille moyenne, l’attendu « aucun robot de recherche autorisé ne reçoit de code 403 ou 429 » se commande par la communication et s’exécute par l’informatique.
Échéance : le 30 septembre 2026. Preuve : un extrait des journaux du serveur sur 90 jours, avec des codes 200 (réponse réussie) pour ces agents, et la règle du pare-feu citée en clair. Revérification : le 31 octobre 2026.
L’ordre des travaux suit la même logique. Une page réécrite derrière un robot bloqué ne se lit nulle part : lever les blocages ouvre la première vague du plan d’action, la seule dont le résultat se vérifie sans attendre les moteurs.
Qu’est-ce qui change pour une institution publique ?
Une institution a une raison supplémentaire d’y regarder. En France, les relevés d’août 2026 de SE Ranking, éditeur d’outils de référencement, placent service-public.gouv.fr dans 32,32% des Aperçus IA juridiques et ameli.fr dans 34,56% des Aperçus IA de santé.
La page d’une institution devient la réponse lue sans visite du site. La bloquer laisse cette place à d’autres sources. Le guide n’a trouvé de mesure équivalente ni en Belgique ni au Luxembourg.
La source préférée de Google ajoute une contrainte : elle n’admet que des sites entiers ou des sous-sites. Une institution publiée dans un répertoire d’un portail commun n’y a donc pas accès.
Et les rapports publics diffusés en PDF seulement restent un pari chez les assistants autres que Google.
Que font les organisations belges ?
Le guide ne connaît pas de mesure belge des blocages. Un indice existe : des éditeurs belges interrogés par la RTBF en octobre 2026 n’envisagent pas d’activer l’exclusion de la Search Console, l’un d’eux craignant un effet sur sa visibilité dans Google Discover.
La crainte vise Discover dans son ensemble, la garantie de Google ses seules fonctions d’IA.
Quels robots d’IA visitent votre site ?
Le tableau liste les robots d’IA dont l’éditeur publie une documentation officielle, avec leur famille et la position de l’éditeur sur le fichier robots.txt.
La colonne « famille » reprend ce que l’éditeur écrit lui-même. Ce tableau se joint tel quel à une demande de vérification adressée à l’informatique ou à l’agence.
| Robot | Éditeur | Famille, selon l’éditeur | Le fichier robots.txt, selon l’éditeur |
|---|---|---|---|
| GPTBot | OpenAI | entraînement | respecté |
| OAI-SearchBot | OpenAI | recherche | respecté |
| ChatGPT-User | OpenAI | agent déclenché | « may not apply » |
| OAI-AdsBot | OpenAI | contrôle publicitaire | non précisé |
| Googlebot | recherche, alimente aussi les Aperçus IA et le Mode IA | respecté | |
| Google-Extended | entraînement de Gemini et ancrage hors Search | jeton de contrôle, sans visite propre | |
| Google-CloudVertexBot | agents Vertex AI demandés par le site | respecté | |
| GoogleOther | usages internes hors produit | respecté | |
| Google-Agent | agent déclenché | ignoré | |
| Google-GeminiNotebook | agent déclenché | ignoré | |
| ClaudeBot | Anthropic | entraînement | respecté |
| Claude-SearchBot | Anthropic | recherche | respecté |
| Claude-User | Anthropic | agent déclenché | respecté, sans exception |
| PerplexityBot | Perplexity | recherche | respecté |
| Perplexity-User | Perplexity | agent déclenché | « generally ignores » |
| bingbot | Microsoft | recherche, pas de robot propre à Copilot, ancrage réglable page par page à partir du 1er février 2027 | respecté |
| Applebot | Apple | recherche et entraînement | respecté |
| Applebot-Extended | Apple | entraînement, jeton sans visite de pages | jeton de contrôle |
| meta-externalagent | Meta | entraînement et indexation | respecté |
| meta-webindexer | Meta | recherche | respecté |
| meta-externalfetcher | Meta | agent déclenché | « may bypass » |
| MistralAI-Index | Mistral AI | recherche | respecté |
| MistralAI-Training | Mistral AI | entraînement | respecté |
| MistralAI-User | Mistral AI | agent déclenché | respecté |
| DuckAssistBot | DuckDuckGo | agent déclenché, temps réel | respecté, effet sous 72 heures |
| Amazonbot | Amazon | entraînement et produits | respecté, cache de 30 jours |
| CCBot | Common Crawl | corpus ouvert réutilisé par des tiers | respecté |
Sources : documentation des éditeurs, consultée entre le 12 septembre et le 13 octobre 2026, notamment OpenAI, Google, robots courants et Google, récupérateurs déclenchés, Anthropic, Apple. Seuls figurent les robots dont l’éditeur publie une documentation. Tableau repris de la section 3.2 du guide.
Quels robots d’IA ne sont pas documentés ?
ByteDance ne documente pas son robot Bytespider, que le fichier managé de Cloudflare bloque pourtant.
Microsoft ne documente pas de robot propre à Copilot : l’accès aux pages passe par l’index de bingbot, et le seul réglage propre aux réponses génératives est une balise dans le code de la page, hors du fichier robots.txt.
Apple écrit que son robot suit les instructions données à Googlebot quand il n’est pas nommé. Un site qui a bloqué Googlebot sur une section a donc bloqué Applebot sans l’avoir écrit, un détail qui concerne d’abord les organisations aux blocages anciens.
La grille du guide ajoute une question de méthode : la liste des robots autorisés et bloqués est-elle écrite quelque part, avec sa date et le nom de la personne qui a décidé ?
L’article Agence GEO : que lui demander, et comment vérifier son travail ? replace ces questions dans l’ensemble des exigences d’un cahier des charges.
Que dire à votre comité de direction ?
- « Bloquer GPTBot ne retire pas notre site des réponses de ChatGPT quand il cherche en ligne. Bloquer OAI-SearchBot l’en fait sortir, selon la documentation des robots d’OpenAI consultée en septembre 2026. »
- « Depuis le 31 août 2026, seule l’exclusion dans la Search Console retire un site des Aperçus IA et du Mode IA de Google. Le jeton Google-Extended, que le fichier par défaut de Cloudflare bloque, retire le site de l’ancrage de l’application Gemini sans toucher aux Aperçus IA. »
- « Sur 66 grands éditeurs de presse relevés en août 2026 par Muck Rack, éditeur de l’outil de mesure, 81% de ceux qui bloquent le robot de recherche de Claude n’y sont presque jamais cités, contre 12% de ceux qui l’autorisent. »
Quelles questions poser en interne ?
- Le fichier robots.txt en vigueur a-t-il été lu par la direction de la communication, et savons-nous s’il est rédigé par nous ou généré par l’hébergeur ?
- OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et bingbot y sont-ils autorisés ?
- Le refus ou l’autorisation des robots d’entraînement a-t-il été arbitré, tracé et daté par une personne nommée ?
- Si le fichier refuse l’entraînement par le jeton commun, dit-il aussi ce que nous voulons pour Gemini, en nommant Google-Extended ?
- Chacun de ces agents passe-t-il le pare-feu sans recevoir de code 403 ou 429, d’après les journaux du serveur des 90 derniers jours ?
- La décision d’inclure le site dans les fonctions génératives de Google, ou d’en exclure une section, est-elle écrite et datée, avec son motif ?
- Le texte que nous voulons voir cité figure-t-il dans le code servi au premier appel, sans JavaScript ni cookie de consentement ?
- Les conditions acceptées par nos comptes sur les plateformes, dont celles de Meta, ont-elles été lues par le service juridique ?
Questions fréquentes
GPTBot, c’est quoi ?
Le robot d’entraînement d’OpenAI. Selon la documentation des robots de l’éditeur, il « crawls content for training ». Le bloquer ne retire rien des réponses de ChatGPT avec recherche, qu’alimente OAI-SearchBot. Bloquer OAI-SearchBot, en revanche, fait sortir le site de ces réponses.
Comment savoir si mon site bloque ChatGPT ?
Le fichier robots.txt ne suffit pas à le dire. Un pare-feu refuse parfois un robot que ce fichier autorise, avec un code 403 ou 429, ce qu’OpenAI reconnaît. Les journaux du serveur des 90 derniers jours, filtrés sur OAI-SearchBot et ChatGPT-User, montrent les accès réels.
Bloquer Google-Extended retire-t-il mon site de Google ?
Non. Google écrit que Google-Extended « does not impact a site’s inclusion in Google Search » (Google, 14 juillet 2026). Le jeton commande l’entraînement de Gemini et l’ancrage de l’application Gemini. Pour sortir des Aperçus IA et du Mode IA, le réglage est l’exclusion dans la Search Console, ouverte à tous les sites le 31 août 2026.
Une seule ligne peut-elle refuser l’entraînement à tous les moteurs ?
Bientôt, chez une partie d’entre eux. Google, Microsoft et OpenAI ont annoncé le 30 octobre 2026 qu’ils respecteront le jeton commun « __usage_ai-training », Microsoft à partir du 1er février 2027, Google en 2027, OpenAI dans les prochains mois. Anthropic a commencé à l’appliquer, Meta n’a rien confirmé. Chez Google, ce jeton retire aussi le site de l’application Gemini, sauf autorisation explicite de Google-Extended.
Mon hébergeur a-t-il déjà bloqué des robots d’IA ?
C’est possible si votre site passe par Cloudflare. Le fichier robots.txt managé de Cloudflare interdit nommément 8 robots selon sa documentation du 3 août 2026 : Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent. Le fichier servi et les journaux du serveur montrent ce qui s’applique chez vous.
Bloquer les robots d’IA fait-il perdre du trafic ?
Les mesures divergent. 2 chercheurs de Rutgers et de Wharton trouvent, dans la version d’avril 2026 de leur étude sur 30 éditeurs de presse, une baisse d’environ 7% des visites hebdomadaires chez les seuls grands éditeurs. Les versions précédentes du même papier donnaient 23,1% puis 10%.
Qui doit décider de bloquer les robots d’IA ?
Plusieurs fonctions, chacune pour sa part. La communication porte l’enjeu et la décision sur la Search Console, l’informatique tient le fichier, le pare-feu et les journaux, le juridique suit les contrats des plateformes, et la direction générale tranche l’entraînement. Sans décision écrite, le réglage par défaut d’un prestataire décide.
>>> Le Guide pratique du GEO pour les directions de la communication donne le tableau complet des robots à sa section 3.2 et consacre ses sections 5.1 à 5.4 aux décisions sur le site : les 3 chemins d’accès, la portée du fichier robots.txt, les effets réels d’un blocage et la page servie au robot. Les questions C3-01 à C3-05 et C5-01 à C5-07 de sa grille d’audit (annexe A) se reprennent telles quelles dans un cahier des charges. Il se télécharge librement.
Dans votre organisation, qui a décidé des robots autorisés sur votre site : la communication, l’informatique ou l’hébergeur ?
Xavier Degraux ► Consultant & formateur LinkedIn™, IA et GEO · Prise de parole et réputation numériques des organisations et de leurs dirigeant.es · Employee advocacy ► +500 organisations accompagnées depuis 2013 ► 10 ans journaliste éco (L’Echo, Trends Tendances)
Abonnez-vous à ma newsletter mensuelle gratuite !
En vous abonnant, vous acceptez que votre adresse serve uniquement à l’envoi de cette lettre d’information. Désinscription en un clic dans chaque envoi. Politique de confidentialité et de cookies · Mentions légales · Conditions générales
