AdsBot и краулинг посадочных страниц в 2026: почему Google не видит ваш лендинг

Объявление одобрено, кампания активна, ставки нормальные — а показов нет. Или наоборот: ночью прилетело отклонение «сайт недоступен», хотя вы только что открыли страницу в браузере и она работает. В девяти случаях из десяти разница между «работает у вас» и «работает у Google» — это AdsBot, отдельный краулер, который проверяет посадочные страницы рекламы и живёт по своим правилам, не совпадающим с правилами обычного поискового робота.

Разберём, как устроен этот краулер, почему стандартный robots.txt его не останавливает, какие настройки сервера и WAF ломают рекламу тише всего, и как за 30–40 минут диагностировать проблему, которая обычно висит неделями.

Что такое AdsBot и чем он отличается от Googlebot

AdsBot — краулер, который обслуживает рекламные продукты Google. Он проверяет три вещи на посадочной странице: доступность, соответствие рекламным политикам и релевантность содержимого объявлению. Сегодня активны два основных агента:

• AdsBot-Google — десктопная проверка;
• AdsBot-Google-Mobile — мобильная проверка.

Ключевое отличие от Googlebot, из-за которого возникает половина проблем:

AdsBot игнорирует группу User-agent: * в robots.txt. Классическая конструкция «запретить всё для всех» остановит поисковый робот, но не остановит рекламный. Чтобы закрыть страницу от AdsBot, его нужно назвать по имени — и наоборот, чтобы открыть, недостаточно «разрешить всем».

Google относит AdsBot к «краулерам особого назначения»: логика в том, что, запуская рекламу, вы сами подали страницу на проверку и тем самым дали разрешение на её обход. Отсюда два практических следствия. Первое: если кто-то в команде закрыл раздел от индексации «для всех», объявления это, скорее всего, не сломает. Второе: если DevOps решил «прибить лишний трафик ботов» и специально заблокировал AdsBot по имени — реклама встанет, а в отчётах об индексации сайта ничего не изменится.

Когда именно приходит краулер

AdsBot обходит страницу не по расписанию сайта, а по событиям в рекламном аккаунте:

• объявление отправлено на модерацию (новое или отредактированное);
• появились новые цели динамических объявлений;
• плановая перепроверка уже работающих посадочных — официальные документы Google называют ориентир «примерно раз в две недели», в другом месте справки встречается «раз в три недели». Считайте, что перепроверка происходит регулярно и без предупреждения.

Именно последний пункт объясняет самый неприятный сценарий: кампания спокойно работала три недели, вы ничего не меняли — и вдруг объявления отклонены. Изменился не аккаунт, а сайт или его защита, а перепроверка просто обнаружила это первой.

Три типа отклонений, за которыми стоит краулер

Статус	Что произошло	Где искать причину
Страница не сканируется	Краулер не смог получить содержимое	robots.txt, WAF, файрвол, rate limiting, плагин безопасности CMS
Страница не работает	Сервер отдал ошибку или страница не загрузилась	404/403/5xx, цепочки редиректов, таймауты, сертификат
Несоответствие целевой страницы	Робот увидел не то, что видит пользователь	Гео-редиректы, определение устройства, персонализация, капча

Формальные технические ограничения, которые чаще всего нарушают незаметно:

• менее десяти редиректов в цепочке (на практике держите не больше двух);
• длина URL от 12 до 2048 символов — длинные ссылки с трекинговыми параметрами иногда упираются в верхнюю границу;
• никаких экранов входа, капч и страниц-заглушек между объявлением и содержимым;
• страница должна открываться не только в целевом регионе, но и при обращении из США, откуда часто приходит проверка.

Полный перечень причин отклонения посадочных страниц и порядок их устранения мы разбирали в отдельном материале: требования Google Ads к посадочной странице. Эта статья — про техническую сторону вопроса: почему краулер вообще не доходит до содержимого.

Пять причин, по которым краулер не видит страницу

1. WAF и антибот-защита

Самая частая и самая незаметная причина. Cloudflare, облачные WAF и «защита от парсинга» в панелях хостинга классифицируют трафик по эвристикам: частота запросов, отсутствие JavaScript, репутация IP, поведение. AdsBot ходит именно так, как выглядит подозрительный клиент: быстро, без выполнения сценариев пользователя, с нестандартным user-agent.

Важная деталь: вы редко блокируете AdsBot намеренно. Чаще его отсекает общее правило — «challenge для всех не-браузерных агентов», «под защиту весь /promo/», «managed rules на уровне Bot Fight Mode». Результат один: робот получает 403 или страницу с проверкой, а объявление уходит в отклонение.

Что делать: добавить AdsBot-Google и AdsBot-Google-Mobile в список разрешённых user-agent и проверять по обратному DNS, что запрос действительно от Google (по имени агента, а не по IP-листу, который меняется).

2. robots.txt, закрывающий краулер по имени

Проверьте файл на наличие явного блока:

• User-agent: AdsBot-Google с Disallow: / — прямой запрет;
• запрет конкретного раздела, в котором лежат промо-страницы;
• robots.txt, отдающий 5xx — это тоже трактуется как запрет на обход.

Отдельный подводный камень: после переезда или смены CDN robots.txt может подтягиваться со старого источника. Если вы недавно меняли инфраструктуру, пройдите по чек-листу миграции сайта без потери платного трафика — там этот пункт разобран вместе с редиректами и трекингом.

3. Rate limiting и всплески нагрузки

Динамические цели и большие аккаунты порождают массовый обход: у сайта с тысячами URL краулер может создать заметную нагрузку. Если сервер начинает отвечать 429, 500 или 503, Google трактует это как недоступность — и, если ситуация повторяется, кампании могут остановиться.

Симптом, по которому это узнаётся: отклонения появляются пачками и коррелируют с пиками трафика или с крупными правками в аккаунте. Решение — не блокировать робота, а поднять лимиты для его агента и разгрузить страницы (см. скорость лендинга и Core Web Vitals).

4. Гео-редиректы и «умная» персонализация

Автоматический редирект по стране — классическая ловушка. Проверка нередко приходит с американских адресов; пользователь из целевой страны видит нужную страницу, а краулер — редирект на международную версию, заглушку «сервис недоступен в вашем регионе» или главную. Формально это несоответствие целевой страницы.

То же самое ломает персонализация по cookie и A/B-тесты, которые показывают боту пустой вариант. Правило простое: у любой страницы должна быть версия, доступная без cookie, без сессии и без геолокации.

5. JavaScript-рендеринг и пустой HTML

Если содержимое страницы собирается на клиенте, а в исходном HTML лежит пустой контейнер, краулер может увидеть страницу без текста, цен и оффера. Это редко приводит к прямому отклонению, зато бьёт по оценке качества посадочной страницы — а она входит в показатель качества наряду с ожидаемым CTR и релевантностью объявления.

Практический минимум: заголовок, оффер, цена и основной текст должны присутствовать в HTML-ответе без выполнения скриптов.

Как правильно открыть доступ: конкретные конфигурации

Общая рекомендация «разрешите AdsBot» на практике упирается в вопрос, где именно это делать. Порядок проверки — от внешнего периметра к приложению, потому что первый же блокирующий слой обрывает цепочку.

robots.txt

Явное разрешение выглядит как отдельная группа. Если у вас есть общий запрет для всех агентов, добавьте отдельный блок для рекламного краулера:

• User-agent: AdsBot-Google + Allow: /
• User-agent: AdsBot-Google-Mobile + Allow: /

Строго говоря, при отсутствии явного запрета эти строки не обязательны — краулер и так не подчиняется групповому правилу. Но они выполняют документирующую функцию: следующий человек, который будет править файл, увидит, что агенты учтены намеренно, и не закроет их «заодно».

Уровень CDN и WAF

Здесь важнее всего порядок правил. Разрешающее правило для AdsBot должно стоять выше общих правил защиты от ботов, иначе оно никогда не сработает. Типичный набор проверок:

• правила уровня «Bot Fight» и managed-наборы — убедиться, что для нужных user-agent есть исключение;
• гео-ограничения — доступ должен сохраняться для запросов из США;
• защита конкретных путей (/promo/, /lp/, /sale/) — чаще всего промо-разделы закрывают отдельно и забывают об этом;
• ограничение частоты запросов — вынести агентов краулера в отдельную, более щедрую политику.

Уровень веб-сервера и приложения

Оставшиеся места, где запрос может умереть уже после WAF:

• списки блокировки по user-agent в конфигурации nginx или Apache — наследие борьбы со скрейперами, про которое все забыли;
• плагины безопасности CMS с собственными чёрными списками ботов;
• требование cookie или сессии для отображения содержимого;
• базовая HTTP-аутентификация, оставшаяся на разделе после тестирования.

Правило, которое экономит время: после любого изменения конфигурации проверяйте результат запросом от имени краулера, а не предположением. Конфигурации в распределённой инфраструктуре применяются неравномерно, и «мы разрешили» нередко означает «разрешили на одном узле из четырёх».

Динамические форматы: почему нагрузка растёт именно сейчас

Отдельный сюжет 2026 года — рост объёмов краулинга из-за форматов, которые сами определяют, на какую страницу вести пользователя. Раньше это были динамические поисковые объявления, теперь тот же принцип работает в более широких режимах таргетинга по содержимому сайта.

Для сайта это означает следующее: краулер обходит не десяток посадочных, а весь доступный каталог URL, причём повторно. Сайт с несколькими тысячами страниц может получить заметный дополнительный трафик, и именно на таких аккаунтах чаще всего срабатывают ограничения частоты запросов.

Что с этим делать:

1. Ограничьте периметр на стороне рекламы, а не сервера. Если в качестве целей не нужен весь сайт, сузьте набор страниц в настройках кампании — это снизит нагрузку без риска блокировки.
2. Уберите из периметра мусорные URL: результаты внутреннего поиска, фильтры с бесконечными комбинациями параметров, служебные страницы. Для краулера это отдельные адреса.
3. Кэшируйте агрессивнее. Страницы, которые собираются из десятка запросов к базе, под массовым обходом превращаются в проблему производительности.
4. Следите за кодами ответа отдельно по агенту краулера. Рост доли 5xx именно у него — ранний сигнал, который проявится в модерации только через несколько дней.

Если вы переводите кампании на форматы с автоматическим подбором целевых страниц, этот пункт стоит включить в план перехода наравне с настройками — см. разбор перехода с DSA на AI Max.

Диагностика за 30–40 минут

Шаг 1. Воспроизведите запрос как краулер

Обратитесь к странице с user-agent AdsBot-Google и AdsBot-Google-Mobile и посмотрите код ответа и тело. Сравните с обычным браузерным запросом. Расхождение в коде ответа (200 против 403) — готовый диагноз.

Шаг 2. Проверьте robots.txt буквально

Откройте файл и найдите все упоминания AdsBot. Помните, что User-agent: * к нему не относится: ни как запрет, ни как разрешение.

Шаг 3. Проследите цепочку редиректов

Пройдите путь от финального URL объявления до конечной страницы и посчитайте переходы. Ищите: редирект по стране, редирект с http на https и потом ещё раз с www, потерю трекинговых параметров по дороге. Последнее ломает ещё и аналитику — подробнее в материале про GCLID, GBRAID и WBRAID.

Шаг 4. Посмотрите логи сервера за последние 14 дней

Отфильтруйте по подстроке AdsBot и посмотрите распределение кодов ответа. Это самый честный источник: он покажет и блокировки, и всплески 5xx, и то, приходил ли робот вообще.

Шаг 5. Проверьте правила WAF

Ищите не «блокировку AdsBot», а общие правила: challenge для не-браузерных агентов, гео-ограничения, защиту конкретных путей, режимы борьбы с ботами. Все они срабатывают без упоминания Google в конфигурации.

Шаг 6. Сопоставьте с историей изменений аккаунта

Если отклонения начались в конкретный день, сверьте дату с правками в кабинете и с релизами на сайте. Порядок такой сверки описан в разборе истории изменений Google Ads как инструмента диагностики просадок.

Как отличить проблему краулинга от других причин «нет показов»

Не каждое молчание кампании связано с посадочной. Быстрый разделитель:

Признак	Скорее краулинг	Скорее другое
Статус объявления	Отклонено, причина про сайт/назначение	Одобрено, но показов нет
Охват проблемы	Все объявления с одним доменом или разделом	Отдельные группы или ключи
Момент появления	После релиза сайта, смены CDN, включения защиты	После правок ставок, бюджета, таргетинга
Логи сервера	403/429/5xx по AdsBot	Робот ходит, ответы 200

Если объявления одобрены, а показов всё равно нет, причина лежит в другой плоскости — в рейтинге, конкуренции, статусе ограниченного показа или настройках. Этот сценарий подробно разобран в материалах «Объявления не показываются: 12 причин и порядок диагностики» и «Ограниченный показ объявлений».

Профилактика: шесть правил, которые экономят недели

1. Явно разрешите AdsBot в правилах WAF и CDN — не «разрешите ботов вообще», а именно эти два агента. Зафиксируйте это в документации инфраструктуры, чтобы правило не потерялось при следующем обновлении конфигурации.
2. Добавьте проверку краулинга в релизный чек-лист. Перед выкаткой промо-раздела — запрос от имени AdsBot к нескольким URL.
3. Держите robots.txt под контролем версий. Большинство внезапных отклонений — результат правки, о которой никто не помнит.
4. Никаких гео-редиректов на рекламных URL. Если геологика нужна, делайте её мягкой: баннер с предложением сменить регион вместо принудительного перехода.
5. Следите за кодами ответа под нагрузкой. Особенно в дни акций, когда трафик и частота перепроверок растут одновременно — этот сюжет пересекается с подготовкой промо-окон, описанной в материале про promotion mode в Google Ads.
6. Проверяйте новые URL до запуска, а не после отклонения. Пять минут на этапе подготовки против двух дней модерации после.

Что делать, если объявления уже отклонены

1. Определите точную формулировку причины в столбце статуса — от неё зависит, что чинить.
2. Воспроизведите обращение краулера и получите код ответа: это ваш факт.
3. Устраните причину на стороне сайта (правило WAF, robots.txt, редирект, ошибка сервера).
4. Убедитесь, что исправление применилось на всех узлах CDN, а не только на источнике.
5. Отправьте объявление на повторную проверку: откройте объявление, внесите правку или воспользуйтесь апелляцией, если считаете отклонение ошибочным.
6. Не удаляйте и не пересоздавайте кампанию ради ускорения — вы потеряете статистику, а причина останется.

Отдельно стоит помнить, что доступность посадочной влияет не только на модерацию. Качество посадочной страницы — один из трёх компонентов показателя качества, и хронические проблемы с доступом постепенно ухудшают позиции и цену клика даже тогда, когда до отклонения дело не доходит. Если вы одновременно занимаетесь и качеством, и ценой трафика, логичный следующий шаг — полный аудит аккаунта Google Ads по чек-листу.

Когда инфраструктурная часть настроена, остаётся собственно реклама: структура, ставки и аккаунты под нужные объёмы. С последним помогут агентские аккаунты Google Ads и другие сервисы PPC Rebels.

FAQ

Блокирует ли AdsBot строка User-agent: * / Disallow: /?

Нет. AdsBot не подчиняется групповому правилу для всех агентов. Чтобы запретить ему обход, нужно указать его имя отдельно. Верно и обратное: разрешение «для всех» ничего не гарантирует.

Как проверить, что запрос действительно от AdsBot, а не подделка?

По обратному DNS-запросу IP-адреса: он должен разрешаться в домен Google, и прямой запрос по полученному имени должен возвращать тот же адрес. Ориентироваться только на строку user-agent небезопасно — её легко подделать.

Как часто краулер перепроверяет работающие посадочные?

Публичные документы Google называют ориентиры «примерно раз в две недели» и «раз в три недели» в разных разделах справки. Практический вывод: перепроверка регулярна, происходит без уведомления, и сайт должен быть доступен постоянно, а не только в день запуска.

Можно ли ограничить нагрузку от AdsBot?

Прямого регулятора частоты обхода для него нет. Снижать нагрузку разумнее на стороне сайта: кэширование, облегчение страниц, отказ от генерации тяжёлых динамических страниц для каждого URL. Полная блокировка приведёт к остановке рекламы.

Почему страница открывается у меня, но краулер её «не видит»?

Самые частые объяснения: WAF отдаёт вам страницу, а боту — challenge; работает гео-редирект, а проверка приходит из другой страны; содержимое собирается скриптами и отсутствует в HTML-ответе; или проблема плавающая и проявляется только под нагрузкой.

Влияет ли доступность страницы на показатель качества?

Да. Качество посадочной страницы — один из трёх компонентов показателя качества. Регулярные проблемы с доступом ухудшают эту оценку, что отражается на рейтинге объявления и цене клика.

Что означает «несоответствие целевой страницы»?

Робот увидел содержимое, отличающееся от того, что видит пользователь по этому же адресу, или не соответствующее объявлению. Типичные причины — редиректы по гео и устройству, персонализация по cookie, A/B-тесты без стабильной версии по умолчанию.

Нужно ли открывать AdsBot доступ к тестовым и staging-окружениям?

Нет. Рекламные URL не должны вести на закрытые окружения. Staging можно и нужно держать закрытым, но тогда убедитесь, что объявления не ссылаются на него по ошибке.

Влияет ли CDN-кэш на результат проверки?

Да. Исправление на исходном сервере не действует, пока кэш на узлах не обновился. После любой правки robots.txt или правил доступа сбрасывайте кэш и только затем отправляйте объявление на повторную проверку.

Сколько времени занимает повторная модерация после исправления?

Обычно от нескольких часов до одного рабочего дня. Если статус не меняется дольше, проверьте, что исправление реально применилось: повторите запрос от имени краулера и убедитесь, что приходит код 200.

Стоит ли подавать апелляцию сразу?

Только если вы уверены, что страница доступна краулеру, и подтвердили это запросом и логами. Апелляция без исправления причины приводит к повторному отклонению и тратит время.

Можно ли как-то заранее узнать, что краулер приходил и что получил?

Самый надёжный способ — логи собственного сервера или CDN с фильтром по имени агента. В Search Console активность AdsBot доступна только подтверждённым владельцам корневого ресурса, что не всегда доступно агентству, ведущему аккаунт.