Faut-il bloquer les crawlers IA sur mon site ? Les bons réglages

/ Visibilité IA 
nov. 17, 2026 | 7 min read
Illustration générée par IA — Empty office corridor lined with identical closed doors, with one different door standing half open at the end
Image générée par IA
Olga LescuyerFrontend Developer,SEO specialist

Nous venons de voir des bots IA explorer notre site pour la première fois. Faut-il les bloquer ?

Faut-il bloquer les crawlers IA sur mon site ? Pour la plupart des PME, non. Bloquez les URL qui font travailler votre serveur, pas les bots capables de vous faire apparaître dans les réponses de ChatGPT, Claude et Perplexity. Quand des crawlers IA ont poussé notre propre serveur à 100 % de CPU, un seul bot a déclenché 1 073 régénérations d’une même page en 23 heures. Nous l’avons quand même laissé passer.

Pourquoi les crawlers IA apparaissent soudain dans vos rapports

Beaucoup de dirigeants, d’un cabinet dentaire à Zurich à un bureau d’architectes à Lausanne, découvrent seulement maintenant ces visiteurs. Le rapport LLM bot insights de Webflow montre quels bots IA visitent un site et quelles pages ils demandent, à partir des journaux du serveur (les logs). Il faut un forfait Team ou Enterprise avec le module complémentaire Analyze.

Le rapport classe les bots en quatre groupes : les bots agentiques, qui récupèrent une page pour répondre à la question d’un utilisateur, les bots d’entraînement, les bots d’indexation, et les bots à usages multiples comme Googlebot et Bingbot. Un détail vous évitera un e-mail inquiet. /manifest.json figure souvent parmi les chemins les plus visités : selon Webflow, c’est normal et sans lien avec votre contenu. Le rapport ne dit pas non plus si une page a été citée dans une réponse d’IA. Il montre seulement qu’un bot l’a demandée.

Tous les crawlers IA ne font pas le même travail

« Crawler IA » recouvre trois types de visiteurs, et chacun a sa propre règle dans le robots.txt, le simple fichier texte qui indique aux bots ce qu’ils ont le droit de lire. OpenAI précise que chaque réglage est indépendant. Vous pouvez autoriser son bot de recherche pour apparaître dans les résultats tout en bloquant son bot d’entraînement.

Type de botExemplesCe qu’il faitCe que change le blocage
Recherche et indexationOAI-SearchBot, Claude-SearchBot, PerplexityBotTrouve les pages à afficher et à citer en lien dans les réponses de la recherche IAOpenAI : votre site n’apparaît plus dans les réponses de ChatGPT search, même s’il peut encore s’afficher comme lien de navigation. Anthropic : votre contenu n’est pas indexé pour la recherche de Claude.
Déclenché par l’utilisateurChatGPT-User, Claude-User, Perplexity-UserRécupère une page quand une personne pose une questionAnthropic : Claude ne peut pas récupérer votre page pour cet utilisateur. OpenAI et Perplexity indiquent que les règles du robots.txt peuvent ne pas s’appliquer, puisque c’est une personne qui a lancé la requête.
EntraînementGPTBot, ClaudeBot, Google-ExtendedCollecte du contenu susceptible d’entraîner de futurs modèles d’IAIndique que vos futurs contenus doivent être exclus de l’entraînement. Cela ne vous retire pas de la recherche.

La page d’aide d’Anthropic donne la même répartition pour ses trois bots et précise qu’ils respectent le robots.txt. Selon Perplexity, PerplexityBot ne sert pas à entraîner des modèles de fondation, et l’éditeur recommande de l’autoriser. Google-Extended est un cas à part. Il n’a pas de user agent propre et contrôle uniquement l’usage que Google peut faire du contenu pour Gemini. Google indique qu’il n’a aucun effet sur la présence dans la recherche Google et qu’il ne compte pas comme signal de positionnement.

Quand autoriser les crawlers IA

Autorisez les bots de recherche et ceux déclenchés par l’utilisateur si vous voulez être cité dans les réponses des assistants IA. Ce sont eux qui lisent votre page quand quelqu’un demande à ChatGPT ou à Perplexity une recommandation dans votre domaine. Bloquez-les, et vous disparaissez de cette réponse. Si vous ne savez pas où vous en êtes aujourd’hui, commencez par vérifier si ChatGPT recommande déjà votre entreprise.

Autorisez-les aussi si vos pages sont des pages commerciales : services, tarifs, équipe, études de cas. Ces pages existent pour être lues. C’est le choix que nous avons fait pour notre propre site. Notre robots.txt dit toujours oui à la recherche, aux réponses IA et à l’entraînement IA, parce que nous voulons que ChatGPT, Claude et Perplexity lisent nos pages et nous citent.

Quand bloquer, et quoi exactement

Bloquez les bots d’entraînement si votre contenu est ce que vous vendez, par exemple des guides payants ou des études, et que vous ne voulez pas qu’il serve à construire des modèles d’IA. Les règles étant indépendantes, bloquer GPTBot ou Google-Extended ne vous retire ni de ChatGPT search ni de la recherche Google.

Bloquez les variantes d’URL qui font travailler le serveur sans rien ajouter au contenu. Les liens de filtres, de tags et de numéros de page peuvent transformer une seule page en centaines d’adresses. Un crawler qui les suit toutes ne fait rien de mal, mais votre serveur paie chaque visite.

Ralentissez un bot trop gourmand avant de lui fermer la porte. Anthropic prend en charge la règle Crawl-delay pour ClaudeBot. Dans les documentations que nous avons lues, c’est le seul fournisseur à la mentionner.

Évitez le blocage par adresse IP. Anthropic prévient que cette méthode peut ne pas fonctionner comme refus, car le bot ne peut plus lire votre robots.txt. Les noms de user agent peuvent aussi être usurpés, comme le rappelle Google : un bot qui se présente comme GPTBot n’est donc pas forcément OpenAI. Si vous utilisez Cloudflare, Perplexity signale que le Bot Fight Mode peut quand même soumettre ses bots à un challenge, et recommande des règles de pare-feu qui vérifient à la fois le user agent et l’IP. Les changements ne sont pas instantanés non plus. OpenAI et Perplexity parlent tous deux d’environ 24 heures.

Ce qui s’est passé quand des crawlers IA ont surchargé notre serveur

Ce mois-ci, notre serveur WordPress a atteint 100 % de CPU à plusieurs reprises, une fois pendant 40 minutes. Notre hébergeur voyait environ 2 400 requêtes par jour et soupçonnait un script. Les logs ont montré autre chose : l’essentiel de la charge venait des crawlers IA. En 23 heures, la liste de notre blog a été régénérée 1 344 fois, dont 1 073 fois pour ClaudeBot. Il suivait chaque lien ?page= et ?tag=, et notre site reconstruisait la page à chaque visite.

Nous n’avons pas bloqué les bots IA. Nous avons seulement bloqué les variantes ?page= et ?tag=, et imposé à ClaudeBot un délai d’exploration de 10 secondes. Les moteurs de recherche trouvent toujours chaque article grâce au sitemap. Nous gardons aussi un fichier llms.txt qui présente notre studio aux outils d’IA et renvoie vers nos pages principales. Avec quatre autres petites corrections, voici le résultat :

IndicateurAvantAprès
Requêtes par jour2 400+176
Saturations du CPURépétées, dont une de 40 minutes à 100 %Disparues
Bots IA autorisés pour la recherche, les réponses et l’entraînementOuiOui

Faut-il bloquer les crawlers IA sur mon site ? Le contrôle en cinq étapes

  1. Ouvrez votre rapport de bots et listez les pages que les bots IA demandent le plus. Dans Webflow : Insights, Site overview, onglet AI discovery, LLM bots.
  2. Vérifiez si ces pages sont mises en cache ou régénérées à chaque visite.
  3. Bloquez les variantes d’URL inutiles (filtres, tags, numéros de page) avant d’envisager de bloquer un bot.
  4. Tranchez la question de l’entraînement IA séparément de celle de la recherche et des réponses, puisque chacune a sa propre règle.
  5. Si un bot reste trop lourd, ralentissez-le avec Crawl-delay quand le fournisseur le permet, ou écrivez au fournisseur depuis une adresse de votre domaine, comme le demande Anthropic.

La plupart de ces décisions se prennent pendant la création du site, pas dans l’urgence après une alerte serveur. Un site conçu pour la recherche à l’ère de l’IA est livré avec un robots.txt propre, un sitemap, des pages en cache et un fichier llms.txt, et quelqu’un vérifie les rapports de bots après la mise en ligne. Notre guide de stratégie SEO, GEO et AEO (le référencement naturel sur Google, puis l’optimisation pour les moteurs génératifs et pour les moteurs de réponse, afin que les assistants IA vous citent) montre où se place l’accès des crawlers. Pour savoir où en est votre site, lancez l’audit gratuit de Pixerry. Il lit votre site comme le font les moteurs de recherche et les moteurs d’IA.

Lancez l'audit rapide et gratuit de Pixerry pour voir comment Google et les assistants IA lisent votre site, et si les bons crawlers accèdent à vos pages

Vérifier mon site
[ Faq ]

Questions fréquentes

Pas de ChatGPT search. OpenAI indique que GPTBot et OAI-SearchBot se règlent indépendamment : vous pouvez bloquer l’entraînement et autoriser quand même le bot de recherche. Interdire GPTBot signale seulement que votre contenu ne doit pas servir à entraîner les modèles de fondation d’OpenAI.

Selon Google, non. Google-Extended contrôle uniquement si votre contenu peut servir à l’entraînement et à l’ancrage des réponses de Gemini. Il n’a aucun effet sur la présence dans la recherche Google et ne compte pas comme signal de positionnement.

Pas encore. Anthropic a commencé à reconnaître le 30 octobre 2026 un signal lisible par machine de refus de l’entraînement IA, fondé sur un projet de l’IETF, et le déploie progressivement. Google prévoit de prendre en charge un signal similaire début 2027. Chez Anthropic, une règle du robots.txt qui nomme un bot précis reste prioritaire.

OpenAI indique qu’il faut environ 24 heures à ses systèmes de recherche pour s’adapter après une mise à jour du robots.txt. Perplexity parle d’un délai pouvant aller jusqu’à 24 heures. Prévoyez ce délai plutôt que d’attendre un effet immédiat.

Nous en gardons un sur notre propre site. Il présente notre studio aux outils d’IA et renvoie vers nos pages principales. Nous n’avons trouvé aucune source officielle confirmant dans quelle mesure les outils d’IA l’utilisent. Voyez-le comme un petit plus, pas comme un remplaçant du robots.txt et du sitemap.

Vous avez encore des questions sur ce sujet ? Notre équipe vous aide volontiers à l’appliquer à votre projet.

Nous contacter