Что такое бот-трафик? Как обнаружить и блокировать бот-трафик (2023)

Насколько хорошо вы знаете бот-трафик? Если не очень, то милости просим. Сейчас вы узнаете, что такое бот-трафик, для чего он предназначен, насколько он может быть вреден и полезен, а также как его обнаружить и заблокировать.

В прошлом я всегда радовался, когда просматривал данные о посещаемости своего сайта и замечал увеличение числа посетителей. Теперь я знаю лучше — не весь трафик, который вы замечаете на своем сайте, генерируется людьми. Большая часть веб-трафика — это нечеловеческий трафик. Если вы не будете осторожны, то в итоге будете принимать неверные решения на основе показателей вовлеченности пользователей, которые уже загрязнены бот-трафиком. Я уже был там раньше и знаю, как сильно бот-трафик может испортить ваш процесс принятия решений. Они не только портят данные о трафике, но и могут нанести вред вашему сайту. Учитывая негативное влияние бот-трафика на сайты, важно, чтобы владельцы и администраторы сайтов знали о нем. Однако подавляющее число из них даже не подозревают о существовании бот-трафика. Зная о бот-трафике, о том, чего он добивается и как это может разрушить ваш сайт и его метрику, вы сможете сделать шаг вперед и предотвратить его — или исключить его данные из ваших данных для принятия решений. Эта статья послужит окончательным руководством по бот-трафику.

Трафик ботов — обзор

Трафик ботов — это трафик, генерируемый компьютерными программами и скриптами. Это нечеловеческий трафик на веб-сайт, и поэтому, скорее всего, он не нужен в вашей аналитике. Веб-боты являются основным источником бот-трафика. Боты разрабатываются для выполнения конкретных, а иногда и периодических задач в Интернете. Они выполняют повторяющиеся, утомительные, рутинные, отнимающие много времени задачи, которые люди считают непривлекательными и отнимающими время. Это может быть что угодно — от кликов по рекламе, как в случае рекламного мошенничества, до наползания и индексирования вашего сайта ботом Googlebot. Неважно, относится ли действие бота к категории хороших или плохих, важно то, что вы должны знать, как отличить их от данных о человеческом трафике. Одна из интересных статистических данных о трафике ботов заключается в том, что на них приходится более 40 процентов интернет-трафика. Как никогда ранее, люди активно автоматизируют все больше своих действий в Интернете, например, автоматизируют покупки, твиты, сбор данных и многое другое.

Хорошие боты против плохих ботов

Прежде чем мы продолжим обсуждение, лучше провести различие между хорошими и плохими ботами, чтобы в итоге не блокировать трафик от хороших ботов.

• Хорошие боты

Хорошие боты — это те боты, которые не оказывают негативного влияния на работу сайта, а конечный результат их действий полезен для посещаемых ими сайтов. Одними из самых популярных хороших ботов в Интернете являются боты поисковых систем, такие как Googlebot.

Это могут быть боты для мониторинга сайтов, чат-боты, боты для мониторинга авторских прав и другие. Несмотря на то, что они могут быть полезны, необходимо дать им соответствующие директивы с помощью robots.txt, чтобы они не влияли на производительность вашего сайта. Также необходимо отделять трафик ботов при проведении любого анализа данных о трафике.

• Плохие боты

Они находятся на вашем сайте ради собственной корысти. В большинстве случаев плохие боты даже не признают и не соблюдают директивы в файлах robots.txt. Они выполняют задачи, которые противоречат условиям использования сайтов, не приносят никакой пользы посещаемым сайтам и в конечном итоге могут замедлить работу сайтов, с которыми они взаимодействуют. Подавляющее большинство плохих ботов на рынке имитируют Google Chrome, чтобы избежать обнаружения и блокировки. Вы должны искать способы их обнаружения и блокировки. Эти способы будут рассмотрены далее в статье.

Типы плохих ботов, трафик от которых вам не нужен

Несомненно, без хороших ботов Интернет не был бы таким, какой он есть, и ваш сайт не пользовался бы тем, чем он пользуется сейчас с точки зрения пользовательского трафика. Однако плохие боты разрушают Интернет. Поскольку они не приносят никакой пользы вашему сайту, вам не нужен трафик от них на вашем сайте. Вам нужно следить за трафиком от этих плохих ботов и отменять некоторые их действия, если это возможно.

• Боты для нажатия/просмотра/загрузки

Я сгруппировал ботов для кликов, ботов для просмотра и ботов для загрузки вместе не просто так — они предназначены для мошенничества. Клик-боты посещают веб-сайты и кликают по рекламе ради получения незаработанного дохода. Клик-боты, боты просмотра и боты загрузки также предназначены для имитации вовлеченности. Это худшая форма ботов, которые могут когда-либо взаимодействовать с вашим сайтом, и их трафик вреден для ваших данных о трафике. На таких сайтах, как TikTok, боты просмотров могут подделать вовлеченность и сделать видео вирусным. Они могут раздуть количество просмотров и загрузок и заставить человека питать ложные надежды.

• Боты для парсинга

Парсинг-боты предназначены для сбора данных с веб-сайтов. Эти боты отправляют веб-запросы на веб-серверы, загружая интересующие их веб-страницы. Затем они анализируют необходимые данные. Они предназначены для кражи контента без разрешения владельцев сайтов. Парсинг-боты печально известны тем, что непреднамеренно замедляют работу веб-сайтов, поскольку посылают слишком много запросов в минуту. Как владельцу сайта, защитить свой сайт от кражи контента с помощью парсинг-ботов может быть непросто. Однако вы можете сделать парсинг непривлекательным, предоставляя API и разрабатывая интеллектуальные системы защиты от парсинга.

• Спам-боты

Вы заметили, что на вашем блоге появилось большое количество спам-комментариев? Они в основном автоматизированы и оставляются спам-ботами. Некоторые спам-боты делают это в целях построения ссылок, другие — как негативный SEO-метод, чтобы навредить рейтингу конкурента. Трафик спам-ботов огромен на крупных платформах социальных сетей, таких как Twitter, поскольку они используются для политической пропаганды — и маркетинговых кампаний в Интернете.

Как обнаружить трафик ботов

Из вышесказанного вы, должно быть, поняли, что бот-трафик занимает большую часть интернет-трафика. Как администратору сайта, вам необходимо знать, содержит ли трафик, регистрируемый вашим аналитическим инструментом, бот-трафик. Конечно, вы не сможете прочесать отдельные запросы вручную. Тем не менее, вы можете определить, что на ваших сайтах у ботов полный день, а затем разработать меры по предотвращению их посещения. Ниже перечислены индикаторы бот-трафика, на которые вы всегда должны обращать внимание.

• Аномалии в данных о трафике

Как администратор сайта, вы должны следить за некоторыми показателями трафика, и если вы заметите в них какие-либо отклонения от нормы, знайте, что это бот трафик портит вам жизнь. Просмотр страниц, показатель отказов и средняя продолжительность сеанса — эти три показателя помогут вам понять, проникают ли боты на ваш сайт. Если вы заметили всплеск просмотров страниц, а также необоснованное увеличение показателя отказов, то просто примите это как указание на бот-трафик. Средняя продолжительность сеанса также может быть указателем. Если в этих данных наблюдаются значительные изменения, а другие показатели тоже отклоняются от нормы, знайте, что на ваш сайт заходят боты.

• Следите за скоростью загрузки вашего сайта

В отличие от показателей трафика, вы не можете использовать только скорость загрузки, чтобы сделать обоснованный вывод о том, что боты нарушают работу вашего сайта. Это связано с тем, что существует множество причин замедления работы вашего сайта. Это может быть проблема с сервером, с вашей сетью и даже недавние изменения на сайте. Однако если все эти причины отсутствуют, а затем внезапно скорость загрузки веб-страниц вашего сайта начинает падать, посмотрите на данные о трафике. Вы заметите всплеск. Боты могут отправлять слишком много запросов за минуту, и это сказывается на производительности маломощных сайтов.

• Странные источники трафика

Иногда для того, чтобы обнаружить бот-трафик на вашем сайте, необходимо заглянуть в журнал сервера и просмотреть исходные данные. Если вы будете делать это вручную, то потратите время и даже не сможете добиться эффективности и результативности. Существуют такие инструменты, как Deep Log Analyzer, которые можно использовать для обнаружения странных источников трафика. Если вы заметили слишком много запросов, поступающих из мест, откуда обычно трафик не поступает, считайте это бот-трафиком. Слишком большое количество запросов с одного и того же IP-адреса также является признаком.

• Плохая конверсия

Некоторые боты оставляют следы, которые вы можете использовать в качестве указателя. Когда боты заполняют формы, они делают это в спамерской манере, используя поддельные имена, электронные адреса и номера телефонов. Некоторые из них дублируют содержание, а другие используют бессмысленные предложения. Если вы заметили что-то подобное, знайте, что за этим стоит бот. Боты для построения ссылок печально известны тем, что забрасывают автоматическими сообщениями разделы комментариев в блогах.

Как блокировать трафик ботов

Буду с вами откровенен — невероятно сложно блокировать весь трафик плохих ботов. Крупные корпорации не смогли этого сделать. Это происходит потому, что большинство ботов выдают себя за легитимных пользователей, используя строку user-agent популярных браузеров. Хотя вы не можете заблокировать весь бот-трафик, вы можете сделать этот процесс непривлекательным и сложным — это уменьшит количество ботов, которые смогут получить доступ к вашему сайту.

• Установка и обеспечение соблюдения лимитов запросов

Наиболее популярным методом блокировки бот-трафика является установка ограничений на количество запросов, которые устройство может отправить в течение определенного периода времени. Устройствам, подключенным к Интернету, присваиваются IP-адреса. Несмотря на то, что адрес не остается неизменным для некоторых устройств, он является лучшим идентификатором устройств в Интернете. Для каждого запроса, отправленного на ваш сайт, IP-адрес связывается с запросом. Благодаря этому вы можете установить лимиты запросов и следить за тем, чтобы конкретное устройство не отправляло больше допустимого количества запросов. Когда это происходит, вы вносите IP-адрес в черный список и блокируете его, чтобы предотвратить отправку дальнейших запросов. Устанавливая лимит, убедитесь, что он установлен таким образом, чтобы он был удобен для тяжелых пользователей. Поскольку боты посылают слишком много запросов, они превысят этот лимит и будут заблокированы.

• Установите услугу Captcha на вашем сайте

Captcha — это тест, используемый для определения того, является ли трафик человеческим или нет. Google reCAPTCHA, который называют легким для людей и трудным для машин, является одним из сервисов Captcha, которые вы можете использовать для блокировки бот-трафика. Я уверен, что вы наверняка сталкивались с необходимостью решать Captchas. Это происходит, когда в вашем трафике есть что-то необычное — вы должны доказать, что вы человек, чтобы продолжить доступ к сайту на данный момент. Большинству ботов трудно решить Captchas, и поэтому в некоторых случаях это может быть эффективным.

• Используйте решение для управления ботами

Два вышеуказанных метода могут оказаться не очень эффективными. Кроме того, у вас может не хватить технических знаний, времени и терпения для эффективного управления трафиком ботов. Поэтому использование решения для управления ботами будет очень полезным. Решение для управления ботами, такое как Cloudfare Bot Management software, использует множество указателей и искусственный интеллект для блокировки бот-трафика.

Часто задаваемые вопросы о трафике ботов

Вреден ли бот-трафик для моего сайта? Трафик ботов, будь то хороший или плохой, может исказить показатели вовлеченности пользователей вашего сайта. Однако если говорить о настоящем смысле этого слова (вредный), то вредными могут быть и плохие боты. Плохие боты могут замедлить работу сайта или даже вывести сервер из строя из-за слишком большого количества запросов в случае атаки Denial-of-Service (DOS). Они также крадут контент и могут нанести вред вашему SEO. Они также дают ложную надежду.

Можно ли блокировать бот-трафик? Как было сказано ранее, вы не можете заблокировать весь бот-трафик. Вы можете лишь затруднить и сделать его непривлекательным — а затем исключить данные о трафике из анализа трафика. Сложность блокирования заключается в том, что разработчики ботов используют методы, позволяющие избежать обнаружения. Например, использование прокси-серверов и решателей капчи делает отслеживание IP-адресов и капчи бесполезными, соответственно.

Как исключить бот-трафик из Google Analytics Google Analytics может обнаружить бот-трафик. Надеемся, мы сможем воспользоваться этим для получения реальных показателей трафика, исключив бот-трафик из общих данных. Для этого перейдите в настройки просмотра, найдите флажок фильтрации ботов и установите его. Затем сохраните.

Как остановить бот-трафик для WordPress? WordPress не помогает вам блокировать бот-трафик по умолчанию. Вы должны настроить его, установив плагины для блокировки ботов. Их можно установить множество. Хорошими вариантами являются плагины Blackhole и Cloudfare WordPress.

Заключение

Бот-трафик становится частью современного Интернета, и, похоже, в ближайшее время он не исчезнет. Хотя некоторые из них хороши, большая их часть плоха, и мы должны защищаться от них, чтобы они не испортили нам жизнь. К сожалению, обнаружить и блокировать их может быть гораздо сложнее, чем мы думаем. Хотя сделать это в открытую будет сложно, затруднение доступа ботов к сайту поможет снизить посещаемость сайта ботами. Если есть возможность, предоставьте API для разработчиков, как это сделал Twitter.