Владельцы сайтов привыкли доверять цифрам. Зашел человек на сайт — хорошо. Задержался на пару минут — еще лучше. Ушел сразу, значит, что-то не так. Но что, если эти цифры врут? Что, если значительная часть «посетителей» это не люди, а программы, которые заходят и тут же выходят, искусственно завышая процент отказов и разрушая доверие к аналитике?
И самое неприятное: эти визиты фиксируются в Яндекс Метрике. В отличие от технических краулеров поисковых систем, которые Метрика игнорирует, эти боты проходят сквозь фильтры. Вы видите их в отчетах, но ничего не можете с ними сделать. А они есть и их много.
Две вселенные ботов: кого Метрика видит, а кого — нет
Прежде чем разбираться с проблемой, важно понять: боты бывают разными. И Метрика относится к ним по-разному.
Технические боты — это краулеры поисковых систем, роботы социальных сетей, анализаторы безопасности. Они приходят на сайт с вполне легальной целью: проиндексировать страницы, проверить ссылки, собрать техническую информацию. Яндекс Метрика их не считает. Умные алгоритмы распознают их по User-Agent, поведению и другим признакам и отсеивают из статистики. Вы их просто не видите.
А есть имитаторы — боты, которые маскируются под живых людей. У них есть поддельные отпечатки браузера (fingerprint), они используют динамические IP-адреса, иногда даже имитируют движения мыши. Таких ботов Метрика не блокирует. Она принимает их за реальных посетителей. И это становится большой проблемой.
Боты с отказами: главная головная боль владельцев сайтов
Самый распространенный и самый опасный тип — боты, которые приходят на сайт и тут же уходят. Запрос — переход — закрытие вкладки. Все это занимает секунды. В Метрике это выглядит как визит с нулевым временем на сайте и 100% отказов.
Откуда они берутся? Чаще всего это побочный эффект «черного» SEO. Конкуренты или недобросовестные веб-мастера заказывают накрутку поведенческих факторов для своих сайтов. Схема простая: бот вводит поисковый запрос, кликает на несколько сайтов из выдачи (в том числе на ваш), быстро их закрывает, а затем переходит на целевой «накручиваемый» сайт и проводит на нем время.
Ваш сайт в этой схеме — просто расходный материал. «Скликанный» ресурс, который использовали для фона. Ничего личного, просто бизнес. Но последствия для вас вполне реальны: статистика Метрики искажается, процент отказов растет, время на сайте падает.
Боты, которые нагуливают профиль
Существует и более сложная разновидность ботов. Перед тем как начать «работу», им искусственно создают историю. Таких ботов специально «нагуливают»: заставляют посещать сайты по интересам, имитировать долгосрочные предпочтения, формировать поведенческий профиль, похожий на человеческий.
Эти боты могут заходить на сайт не напрямую, а через поисковые системы, социальные сети или даже кликать по объявлениям. В нашей практике были случаи, когда бот переходил на сайт по рекламе, которую владелец сайта никогда не запускал. Боту просто «отдавали» URL-адреса с рекламными метками для имитации естественного перехода.
Такие профилированные боты уже не всегда создают отказы. Иногда они имитируют долгое нахождение на сайте, просмотр нескольких страниц. С точки зрения SEO это даже «полезно» — поведенческие факторы улучшаются. Но с точки зрения достоверности аналитики и чистоты данных — это катастрофа. Вы перестаете понимать, кто ваш реальный клиент, а кто — хорошо запрограммированная машина.
Почему Яндекс не всегда хорошо учитывает этих ботов?
Это хороший вопрос. У Яндекса есть мощные антиспам-системы: «Крипта» и «Матрикснет» выявляют аномалии, Вебвизор анализирует неестественные действия. Но в случае с умными имитаторами поисковая система находится в сложном положении.
С одной стороны, Яндекс постоянно совершенствует алгоритмы и периодически вводит санкции против сайтов, использующих накрутку. С другой — эффективных инструментов для полной блокировки таких ботов пока нет. В техподдержке Яндекса даже отрицают, что подобные атаки могут влиять на позиции сайтов в выдаче, хотя практика говорит об обратном.
Как защититься? Методы, которые работают
Полностью остановить ботов нельзя — гонка вооружений продолжается. Но защитить свою статистику и минимизировать ущерб вполне реально.
Блокировка на уровне сервера
Самый радикальный метод — блокировать подозрительные запросы еще до того, как они достигнут сайта. Это можно делать по IP-адресам (хотя у ботов их сотни) или по User-Agent (но многие боты маскируются под обычные браузеры). Неидеально, но часть мусора отсекает.
Защита с действием от пользователя
Более современный подход — требовать от посетителя совершить действие, которое бот не может (или не хочет) выполнять. Например, нажать кнопку «Подтвердить, что я человек». Без этого действия счетчики Метрики просто не загружаются, и «грязные» визиты не попадают в статистику. Минус: до 15% живых пользователей тоже отсеиваются. Но в критической ситуации это может быть оправданной мерой.
Ну и кроме этого, существуют немало сервисов по отсечке таких ботов, например Cloudflare и его аналоги.
Постоянный мониторинг
Самый важный инструмент — ваша внимательность. Регулярно смотрите отчеты Метрики. Обращайте внимание на всплески трафика в необычное время (ночью, рано утром). Анализируйте IP-адреса: если все подозрительные визиты идут из одного пула, с одного сотового оператора, только с Android — это боты. Их не обязательно блокировать, но учитывать их влияние на статистику — обязательно.
Вместо заключения
Боты, рисующие отказы, — это реальность современного интернета. От них нельзя избавиться раз и навсегда, но можно и нужно научиться их распознавать и минимизировать ущерб. Главное, что должен помнить владелец сайта: цифры в Метрике — это не истина в последней инстанции. Особенно если речь идет о проценте отказов и времени на сайте.
Анализируйте данные критически, сравнивайте разные периоды, ищите аномалии. И помните: за каждым подозрительным всплеском трафика может стоять не интерес аудитории, а чья-то программа, работающая на чужом сервере.