Блокировать ИИ-краулеры на сайте? Что разрешить, а что закрыть

/ SEO 
Nov 17, 2026 | 6 min read
Иллюстрация, созданная ИИ — Empty office corridor lined with identical closed doors, with one different door standing half open at the end
Изображение создано ИИ
Olga LescuyerFrontend Developer,SEO specialist

Мы впервые увидели, что ИИ-боты обходят наш сайт. Их нужно блокировать?

Малому бизнесу в большинстве случаев не нужно. Блокировать ИИ-краулеры на сайте целиком не стоит. Закрывайте URL, которые нагружают сервер, а не ботов, благодаря которым вы попадаете в ответы ChatGPT, Claude и Perplexity. Когда ИИ-краулеры загрузили процессор нашего собственного сервера на 100%, один бот за 23 часа вызвал 1073 пересборки одной и той же страницы. Мы всё равно оставили его открытым.

Почему ИИ-краулеры вдруг появились в ваших отчётах

Многие владельцы бизнеса, от стоматологии в Лимассоле до архитектурного бюро в Никосии, только сейчас замечают таких посетителей. Отчёт Webflow LLM bot insights показывает, какие ИИ-боты заходят на сайт и какие страницы запрашивают. Данные берутся из серверных логов сайта. Для отчёта нужен тариф Team или Enterprise с дополнением Analyze.

Отчёт делит ботов на четыре группы. Агентные боты открывают страницу, чтобы ответить на вопрос пользователя. Есть боты для обучения, боты для индексации и многоцелевые боты вроде Googlebot и Bingbot. Одна деталь сэкономит вам тревожное письмо. Путь /manifest.json часто оказывается среди самых посещаемых, и Webflow пишет, что это нормально и к вашему контенту не относится. А вот процитировали ли страницу в ответе нейросети, отчёт не покажет. Он показывает только, что бот её запросил.

Какие бывают ИИ-краулеры и чем они отличаются

Под словом «ИИ-краулер» скрываются три разных типа посетителей, и для каждого в robots.txt пишется своё правило. robots.txt — простой текстовый файл, который говорит ботам, что им можно читать. OpenAI указывает, что все настройки независимы. Можно разрешить поискового бота, чтобы появляться в результатах, и при этом закрыть бота для обучения.

Тип ботаПримерыЧто делаетЧто значит блокировка
Поиск и индексацияOAI-SearchBot, Claude-SearchBot, PerplexityBotНаходит страницы, которые показываются со ссылкой в ответах поиска в нейросетяхOpenAI: сайт не показывается в ответах поиска ChatGPT, хотя может появиться как навигационная ссылка. Anthropic: контент не индексируется для поиска Claude.
По запросу пользователяChatGPT-User, Claude-User, Perplexity-UserОткрывает страницу, когда человек задаёт вопросAnthropic: Claude не сможет получить вашу страницу для этого пользователя. OpenAI и Perplexity говорят, что правила robots.txt могут не действовать, потому что запрос запустил человек.
ОбучениеGPTBot, ClaudeBot, Google-ExtendedСобирает контент, на котором могут обучаться будущие модели ИИСигнал, что ваш будущий контент не нужно использовать для обучения. Из поиска вас это не убирает.

Справка Anthropic описывает такое же деление для трёх своих ботов и подтверждает, что они соблюдают robots.txt. Perplexity пишет, что PerplexityBot не используется для обучения базовых моделей, и советует его разрешать. Google-Extended — особый случай. У него нет собственного user agent, он только определяет, как Google может использовать контент для Gemini. По словам Google, он не влияет на попадание в Google Search и на позиции в поиске.

Когда ИИ-краулеры стоит разрешить

Разрешайте поисковых ботов и ботов по запросу пользователя, если хотите, чтобы нейросети называли вас в ответах. Именно они читают вашу страницу, когда кто-то просит ChatGPT или Perplexity посоветовать компанию в вашей сфере. Заблокируете их, и вы выпадете из ответа. Если не знаете, как обстоят дела сейчас, начните с проверки, советует ли ChatGPT ваш бизнес уже сегодня.

Разрешайте их и в том случае, если ваши страницы маркетинговые: услуги, цены, команда, кейсы. Такие страницы для того и существуют, чтобы их читали. Для своего сайта мы решили именно так. Наш robots.txt по-прежнему разрешает поиск, ответы нейросетей и обучение ИИ: мы хотим, чтобы ChatGPT, Claude и Perplexity читали наши страницы и ссылались на нас.

Когда блокировать и что именно закрывать в robots.txt

Закрывайте ботов для обучения, если ваш контент и есть продукт, например платные гайды или исследования, и вы не хотите, чтобы на нём строили модели ИИ. Правила независимы, поэтому блокировка GPTBot или Google-Extended не убирает вас ни из поиска ChatGPT, ни из Google Search.

Закрывайте варианты URL, которые нагружают сервер, но не добавляют контента. Ссылки фильтров, тегов и номеров страниц способны превратить одну страницу в сотни адресов. Краулер, который проходит по всем, ничего не нарушает. Но за каждый визит платит ваш сервер.

Прежде чем закрыть тяжёлого бота, попробуйте его притормозить. Anthropic поддерживает для ClaudeBot правило Crawl-delay. Из всей документации, которую мы прочитали, его упоминает только этот провайдер.

Не блокируйте ботов по IP-адресу. Anthropic предупреждает, что такой отказ может не сработать: бот больше не сможет прочитать ваш robots.txt. К тому же имена user agent можно подделать, на что указывает Google. Бот, который называет себя GPTBot, не обязательно принадлежит OpenAI. Если вы пользуетесь Cloudflare, учтите: по словам Perplexity, Bot Fight Mode всё равно может выдавать её ботам проверку. Поэтому Perplexity рекомендует правила файрвола, которые учитывают и user agent, и IP. Изменения тоже вступают в силу не сразу. OpenAI и Perplexity называют срок около 24 часов.

Что произошло, когда ИИ-краулеры перегрузили наш сервер

В этом месяце наш сервер на WordPress раз за разом упирался в 100% нагрузки на процессор, однажды на 40 минут. Хостинг видел около 2400 запросов в день и подозревал какой-то скрипт. Логи показали другое: большую часть нагрузки давали ИИ-краулеры. За 23 часа список статей нашего блога пересобирался 1344 раза, и 1073 из них пришлись на ClaudeBot. Он проходил по каждой ссылке ?page= и ?tag=, а сайт заново собирал страницу при каждом визите.

ИИ-ботов мы не блокировали. Закрыли только варианты ?page= и ?tag= и задали ClaudeBot задержку обхода в 10 секунд. Поисковики по-прежнему находят каждую статью через sitemap. Ещё у нас есть файл llms.txt: он рассказывает ИИ-инструментам, кто мы, и ведёт на наши основные страницы. Вместе с четырьмя другими небольшими исправлениями результат получился такой:

ПоказательДоПосле
Запросов в день2400+176
Сбои CPUПовторялись, однажды 40 минут на 100%Прекратились
ИИ-боты разрешены для поиска, ответов и обученияДаДа

Нужно ли блокировать ИИ-краулеры на сайте: проверка в пять шагов

  1. Откройте отчёт по ботам и выпишите страницы, которые ИИ-боты запрашивают чаще всего. В Webflow: Insights, Site overview, вкладка AI discovery, LLM bots.
  2. Проверьте, кешируются ли эти страницы или собираются заново при каждом визите.
  3. Закройте мусорные варианты URL, такие как фильтры, теги и номера страниц, прежде чем думать о блокировке бота.
  4. Решение об обучении ИИ принимайте отдельно от поиска и ответов: у каждого из них своё правило.
  5. Если какой-то бот всё ещё слишком нагружает сервер, замедлите его через Crawl-delay, где провайдер это поддерживает. Или напишите провайдеру с адреса на вашем домене, как просит Anthropic.

Большинство этих решений принимают на этапе разработки, а не в панике после тревоги с сервера. Сайт, сделанный под поиск в эпоху нейросетей, запускается с чистым robots.txt, sitemap, кешированными страницами и файлом llms.txt, а после запуска кто-то следит за отчётами по ботам. Наше руководство по стратегии SEO, GEO и AEO (SEO — поисковое продвижение, GEO — оптимизация под нейросети, AEO — чтобы ИИ цитировал сайт в ответах) показывает, какое место здесь занимает доступ краулеров. Pixerry — европейская студия, говорим по-русски. Чтобы понять, в каком состоянии ваш сайт, пройдите нашу бесплатную проверку сайта. Она читает сайт так, как его видят поисковики и нейросети.

Пройдите быструю бесплатную проверку сайта от Pixerry и узнайте, как его читают Google и ИИ-ассистенты и могут ли нужные краулеры добраться до ваших страниц

Проверить мой сайт
[ Faq ]

Частые вопросы

Из поиска ChatGPT не пропадёт. OpenAI пишет, что GPTBot и OAI-SearchBot настраиваются независимо, поэтому можно закрыть обучение и оставить поискового бота открытым. Запрет для GPTBot только сообщает, что ваш контент не нужно использовать для обучения базовых моделей OpenAI.

По словам Google, нет. Google-Extended определяет только, можно ли использовать ваш контент для обучения Gemini и для его ответов на основе источников. На попадание в Google Search и на позиции в поиске он не влияет.

Пока нет. Anthropic начала распознавать машиночитаемый сигнал запрета на обучение ИИ 30 октября 2026 года. Он основан на черновике стандарта IETF, и поддержку вводят постепенно. Google планирует поддержать похожий сигнал в начале 2027 года. Для Anthropic правило в robots.txt, где назван конкретный бот, по-прежнему важнее.

OpenAI пишет, что её поисковым системам нужно около 24 часов, чтобы учесть обновление robots.txt. Perplexity говорит, что изменения могут вступить в силу в течение 24 часов. Закладывайте эту задержку и не ждите мгновенного результата.

На своём сайте мы его держим. Он рассказывает ИИ-инструментам, кто мы, и ведёт на наши основные страницы. Подтвердить по официальным источникам, насколько широко ИИ-инструменты его используют, мы не смогли. Поэтому считайте его небольшим дополнением, а не заменой robots.txt и sitemap.

Остались вопросы по теме? Наша команда поможет применить это в вашем проекте.

Связаться с нами