на сайт заходят боты что делать
Семь угроз от ботов вашему сайту
DDoS-атаки остаются одной из наиболее обсуждаемых тем в сфере информационной безопасности. При этом далеко не все знают, что ботовый трафик, который и является инструментом для таких атак, влечет множество других опасностей для онлайн-бизнеса. С помощью ботов злоумышленники могут не только вывести сайт из строя, но и украсть данные, исказить бизнес-метрики, увеличить рекламные расходы, испортить репутацию площадки. Разберем угрозы более детально, а также напомним про базовые способы защиты.
Парсинг
Боты парсят (то есть собирают) данные на сторонних сайтах постоянно. Они крадут контент, чтобы потом публиковать его без ссылок на источник. При этом размещение скопированного контента на сторонних площадках опускает ресурс-источник в поисковой выдаче, что означает сокращение аудитории, продаж и рекламных доходов сайта. Боты также отслеживают цены, чтобы продавать товары дешевле и уводить клиентов. Покупают различные вещи, чтобы перепродать дороже. Могут создавать ложные заказы, чтобы загрузить логистические ресурсы и сделать товары недоступными для пользователей.
Парсинг значительно сказывается на работе онлайн-магазинов, особенно тех, у кого основной трафик поступает с площадок-агрегаторов. Злоумышленники после парсинга цен устанавливают стоимость товара незначительно ниже исходной, и это позволяет им заметно подняться в поисковой выдаче. Туристические порталы тоже часто подвергаются ботовым атакам: у них крадут сведения о билетах, турах и гостиницах.
В общем, мораль проста: если на вашем ресурсе есть уникальный контент, боты уже выехали к вам.
Заметить парсинг можно по внезапным всплескам трафика, а также отслеживая ценовую политику конкурентов. Если другие сайты мгновенно копируют у себя ваши изменения в стоимости — значит, тут скорее всего замешаны боты.
Накрутки
Накрутки показателей — это сопутствующий эффект от присутствия ботов на сайте. Каждое действие ботов отражается на бизнес-метриках. Поскольку доля нелегитимного трафика ощутима, решения, основанные на аналитике ресурса, часто бывают ошибочными.
Маркетологи изучают, как посетители используют ресурс и делают покупки. Смотрят на показатель конверсии и лиды и определяют ключевые воронки продаж. Компании также проводят A/B тесты и в зависимости от результатов пишут стратегии для работы сайта. Боты же влияют на все эти показатели, что ведет к нерациональным решениям и излишним маркетинговым затратам.
Злоумышленники могут использовать ботов и для того, чтобы повлиять на репутацию площадок, в том числе соцсетей. Такая же ситуация и с сайтами для онлайн-голосований, где боты часто накручивают показатели, чтобы победил нужный злоумышленникам вариант.
Как можно обнаружить накрутки:
DDoS-атаки
Многие слышали о DDoS-атаках или даже сталкивались с ними. Стоит отметить, что ресурс не всегда выводится из строя с помощью высокого трафика. Атаки на API часто низкочастотны, и в то время как приложение отказывает, firewall и балансировщик нагрузки работают как ни в чем не бывало.
Утроение трафика на главную страницу может никак не сказаться на работоспособности сайта, но такая же нагрузка напрямую на страницу с корзиной приводит к проблемам, поскольку приложение начинает посылать множественные запросы ко всем компонентам, задействованным в транзакциях.
Как обнаружить атаки (первые два пункта могут показаться очевидными, но не стоит ими пренебрегать):
Взлом личных кабинетов
BruteForce, или перебор паролей, организуется с помощью ботов. Для взлома используются утекшие базы данных. В среднем, пользователи придумывают не более пяти вариантов паролей для всех онлайн-аккаунтов — и варианты легко подбираются ботами, которые проверяют миллионы комбинаций в кратчайшее время. Затем злоумышленники могут перепродать актуальные комбинации логинов и паролей.
Также хакеры могут завладеть личными кабинетами и затем использовать их в своих интересах. Например, вывести накопленные бонусы, украсть купленные билеты на мероприятия — в общем, вариантов дальнейших действий множество.
Распознать BruteForce не слишком сложно: о том, что хакеры пытаются взломать аккаунт, говорит необычно высокое количество неуспешных попыток логина. Хотя бывает, что злоумышленники отправляют и небольшое количество запросов.
Скликивание
Скликивание рекламных объявлений ботами может привести к значительным убыткам компаний, если его не заметить. Во время атаки боты переходят по размещенным на сайте объявлениям и тем самым ощутимо влияют на метрики.
Рекламодатели, очевидно, рассчитывают, что размещенные на площадках баннеры и видеоролики увидят реальные пользователи. Но поскольку число показов ограничено, реклама, из-за ботов, демонстрируется все меньшему числу людей.
Сами же сайты хотят за счет показов рекламы увеличить свою прибыль. А рекламодатели, если видят ботовый трафик, снижают объем размещений на площадке, что ведет и к убыткам, и к ухудшению репутации площадки.
Эксперты выделяют следующие типы рекламного фрода:
Поиск уязвимостей
Тестирование на уязвимости выполняется автоматическими программами, которые ищут слабые места сайта и API. Среди популярных инструментов — Metasploit, Burp Suite, Grendel Scan и Nmap. Сканировать сайт могут как специально нанятые компанией сервисы, так и злоумышленники. Площадки договариваются со специалистами по взлому, чтобы проверить свою защиту. IP-адреса аудиторов в таком случае заносятся в white-листы.
Злоумышленники же тестируют сайты без предварительной договоренности. В дальнейшем хакеры используют результаты проверок для своих целей: к примеру, они могут перепродать информацию о слабых местах площадки. Бывает, что ресурсы сканируются не целенаправленно, а в рамках эксплуатирования уязвимости сторонних ресурсов. Возьмем WordPress: если в какой-либо версии обнаружен баг, боты ищут все площадки, которые используют эту версию. Если ваш ресурс попал в такой список, можно ждать визита хакеров.
Как обнаружить ботов?
Для поиска слабых мест сайта злоумышленники сначала проводят разведку, что ведет к росту подозрительной активности на площадке. Фильтрация ботов на этом этапе поможет избежать последующих атак. Хотя ботов и сложно обнаружить, тревожным сигналом могут стать отправляемые с одного IP-адреса запросы ко всем страницам сайта. Стоит обратить внимание и на рост запросов к несуществующим страницам.
Боты могут заполнять формы сайта «мусорным» контентом без вашего ведома. Спамеры оставляют комментарии и отзывы, создают фейковые регистрации и заказы. Классический метод борьбы с ботами, CAPTCHA, в этом случае неэффективен, поскольку раздражает реальных пользователей. К тому же, боты научились обходить такие инструменты.
Чаще всего спам безвреден, однако бывает, что боты предлагают сомнительные услуги: размещают объявления о продаже поддельных вещей и лекарств, продвигают ссылки на порносайты и уводят пользователей на мошеннические ресурсы.
Как обнаружить ботов-спамеров:
Variti защищает сайты и API от всех видов ботовых атак, включая фрод, DDoS, скликивание и парсинг. Собственная технология Active Bot Protection позволяет без CAPTCHA и блокировки IP-адресов выявлять и отсекать ботов.
Атака ботов на сайт: признаки, последствия, защита
Наше большое расследование
Содержание:
Ingredients
Directions
Признаки наплыва ботов
Косвенных признаков ботового DDoS на сайт достаточно много. Если у вас в последние дни вырос трафик в разы, обязательно загляните в метрику, чтобы узнать природу такого резкого всплеска.
ДО БОТОВ:
ПОСЛЕ БОТОВ:
ДО БОТОВ:
ПОСЛЕ БОТОВ:
В самых запущенных случаях может быть так:
4. Имитируют действия человека, если судить по Вебвизору. Боты скроллят страницу, даже останавливаются на каком-то участке текста, но, как отмечают многие веб-мастеры этим только палятся, т.к. на человеческие действия это совсем не похоже:
6. К прямым заходам добавляются переходы со странных сайтов, на которых, якобы, стоит бэклинк на ваш ресурс. При переходе на этот сайт ссылки на ваш сайт не обнаруживается
7. В основном боты селятся на сайтах с хорошей посещаемостью (от 500 до 1000 в сутки). Но бывают исключения и долбят ресурсы поменьше.
9. Количество ботов растёт планомерно. Увеличивается каждый день по чуть-чуть (10-50 заходов), но растёт. И растёт ежедневно. «Нормальным» показателем сейчас считается до 20% ботного трафика на сайте. Это, конечно, не норма, но, якобы, терпимо. А вот если доля паразитного трафика переваливает за 50%, то стоит начинать бить тревогу
10. Зачастую вместе с ботами растёт количество внешних ссылок с разных спамных и мутных ресурсов
Как посмотреть данные по прямым заходам?
[adace-ad не может распознать ботов?
Показывает процент роботов, которые заходили на сайт, только толку от этого никакого — метрика ботов в этот показатель не относит, т.е. не распознает.
Последствия атаки
Последствия в любом случае будут негативными, но у некоторых сайтов, столкнувшихся с атакой, они умопомрачительно деструктивные:
Зачем это делается?
Однозначного ответа на вопрос нет. Всего есть две версии, каждая из которых имеет право на жизнь:
Кто этим занимается?
На тёмную сторону, так или иначе, перешли практически все SEO-конторы. Всё потому, что классическое продвижение, к сожалению (для веб-мастеров под ботами), не даёт и доли такой эффективности в ранжировании, как накрутка ПФ. Агентство krutim.online, сейчас, пожалуй, самое известное, хотя бы потому, что играют «в открытую». Если опустить мораль и этику таких методов SEO, то ребята из Krutim рассказывают достаточно интересные вещи. Последний их вебинар можно посмотреть в YouTube
Как защищаться?
[adace-ad Ничего не делать
Еще один момент: боты могут действительно уйти на некоторое время или снизить атаку до 1-2% от общего трафика, но практически всегда наплыв с прежней, как минимум, силой возвращается. Так же было и у нас.
1. Удалить метрику на конкретных страницах
2. Показывать метрику только пользователям с поиска
Если вы не продвигаетесь в социальных сетях, а оттуда идёт много ботов, то есть смысл фильтровать такой трафик вообще. Да, есть вероятность, что вы зацепите этим самым действительно настоящих пользователей, которые наткнуться на ссылку в социальных сетях, но если в обычном режиме их было немного, то лучше это дело зафильтровать. Тоже самое касается и прямых заходов.
Единственное, что можно сделать через метрику это сделать так, чтобы боты не учитывались в самой метрике (настроить фильтр по IP), но от самих заходов на сайт это не избавит
НО! Возможно, в этом нет никакого смысла, так как сам Яндекс при этом утверждает, что
«Дополнительно обращаем Ваше внимание, Метрика только отображает статистику посещаемости Вашего сайта и не влияет на ранжирование, поскольку статистические данные не передаются в поиск Яндекса.»
3. Бан по IP-адресам / подсетям
Повторяем! Это Опасно!
Так как боты прячутся под мобильными прокси (по сути — модем, который перезагружаются по таймауту и получает новый динамический (!) IP-адрес), то вполне возможно, что заблокированные айпишники вскоре достанутся реальным пользователям, не говоря уж о блокировки целых пулов. С блокировкой нужно быть предельно аккуратным. Рекомендовать данный способ мы не можем. Только в самых крайних случаях.
Как это сделать? Самый простой способ — прописать нужные правила в файл .htaccess. Чтобы не заморачиваться с кодом, который нужно туда прописать, воспользуйтесь генератором — так будет проще и быстрее. Пример работы:
4. Отключение IPv6
Очень много ботов идёт с IP-адресом протокола IPv6 примерно такого вида 2a09:400:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx. Дело в том, что IPv6-адреса можно купить очень дешево и поэтому ботоводы их скупают более охотно, в то время как люди ими почти не пользуются. Таких ботов можно отсечь либо блокировкой, либо отключением в DNS.
Удаление всех AAAA-записей в NS
В вашем регистраторе домена вы прописываете DNS-сервера, которые используются для вашего сайта.
Например, в панели управления доменом на nic.ru у нас прописаны DNS сервиса freedns.afraid.org
Запрет на IPv6 через Сloudflare
В настройках сайта на Cloudflare настройка DNS вынесена в быстрые действия в правом верхнем углу
Блокировка через панель управления хостинга
На данный момент использование IPv6 пока не обязательно. Даже с учетом заканчивающихся свободных айпи-адресов в IPv4, операторы связи не торопятся выдавать адреса с шестого протокола (кстати, используя IPv6, поддержка IPv4 никуда не пропадает). Однако, есть мнение, что делать этого не стоит по двум причинам : это может неадекватно воспринять поисковые алгоритмы Google (каких-то подтверждений этому нет) и часть реальных пользователей вы всё равно отсечете, особенно, если сайт международный (в Европе уже достаточно активно используют). Но вы знаете, кто в России использует IP-протокол шестой версии? Вот и мы не знаем.
5. Блокировка/ фильтр по AS
На форумах проскакивает способ отсечения ботов из социальных сетей блокировкой целых автономных систем (AS) с которых идут мусорные заходы.
Блокировка через htaccess ничем не отличается от блокировки IP. Как узнать какие IP содержат конкретные AS? Для этого есть специальный сервис ASN-blocklist. Введите номер автономной системы и сервис выдает вам пул адресов, которые закреплены за ней. Точнее, он сразу выдает вам код, который нужно прописать в .htaccess
Метод крайне обременительный по времени, если у вас есть Cloudflare, то лучше делать через него
Фильтр через Cloudflare
Фильтр по ASN делается в разделе «Firewall» из аккаунта. Конкретно заходим в Firewall Rules
В бесплатной версии можно настраивать всего 5 правил, но нам нужно добавить только одно:
Таким правилом мы не отсекаем этот трафик, а будем показывать ему капчу (JS Challenge). Полный список ASN под спойлером
Рост ботных переходов на сайт, как интерпретировать и что делать?
Руководитель отдела поисковой оптимизации и развития партнёрской сети торговой площадки «Price.ru» Логанов Денис Николаевич и руководитель отдела разработки платформы «Ситилинк» Осипов Константин Васильевич, расскажут про атрибуции роботного трафика, его последствиях и методах борьбы.
За последние несколько лет доля ботного трафика резко выросла. По данным Barracuda technology за первые шесть месяцев 2021 года, автоматизированные сессии составляют почти две трети интернет-трафика. Примерно 25% этого объёма приходится на известных хороших ботов, таких как поисковые роботы, боты социальных сетей, боты мониторинга и т.д. Однако, почти 40% трафика в целом было от плохих ботов, которые несут угрозу сайтам.
Плохие боты созданы для выполнения различных вредоносных действий. Они атакуют учетные записи пользователей (сбор персональных и финансовых данных), влияют на органический трафик, искажают аналитику, воруют контент, воздействуют на системы рекомендаций, тратят маркетинговые бюджеты на отправку SMS и выводят из строя сервера. В связи с активным ростом проблемы, решили поделиться своим опытом выявления данного тренда и мыслями в этом направлении.
Разберём по пунктам виды ботных переходов:
Для накрутки поведенческих факторов (ПФ) используются переходы ботов по заданному алгоритму. Чтобы данные боты были наиболее похожи на естественный трафик, применяется прокачка профилей.
Ваш сайт может попасть в файл нагула профилей определённой тематики. В следствии чего, вы можете заметить рост прямых заходов (type-in) или реферальных переходов из социальных сетей. Эти 2 метода наиболее популярные для выполнения первого перехода для прокачки профиля.
В целом реферальным источником может быть любая площадка, не обязательно социальные сети.
Если вы заметили аномальный рост (от 50% и более) ботного трафика с большим процентом отказов на свой ресурс, то рекомендуется принять меры. На ряде проектов был замечен явный негативный тренд по позициям и трафику, после обнаружения кратного роста роботных переходов. Хоть «Яндекс» в переписке говорит нам обратное. Так же появление новой метрики в «Яндекс»: «Отфильтровано по поведенческим факторам», никак не повлияло на текущее положение дел.
Что можно предпринять:
1) Часть такого трафика получается срезать по средствам настройки и подключения сервиса CloudFlare.
Программа CloudFlare имеет 4 тарифа:
Enterprise (по запросу)
На тарифах Pro и Business есть раздел Bots.
В данном блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.
Отчет бота включает в себя 4 типа трафика:
Вероятно, автоматический трафик (Likely Automated).
Человеческий (Likely Human).
Все эти данные также доступны через GraphQL и вы можете выгружать их через API.
На тарифе Business – вы получаете доступ к новой версии Bot Analytics, предназначенной для защиты от ботов. Бизнес версия программы глубже сортирует ботный трафик и имеет больше настроек.
Перейдя в раздел Automated можно посмотреть детальный отчёт по переходам. Вы можете проанализировать трафик по типу, настраивать временные рамки и фильтровать по различным атрибутам, таким как IP – адрес, категория, user-agent и т.д.
Самая главная разница между Pro и Business версией, в фильтрации на автоматический трафик и вероятно автоматический трафик.
В чем разница? Последнее включает запросы, распознанные механизмом машинного обучения CloudFlare. Эти запросы часто поступают от сложных ботов — тех, которые обходят простые инструменты безопасности, меняя IP-адреса, User-agent, входят через анонимные прокси и убедительно имитируют людей.
2) Зачастую, полностью этот сервис проблему не решает.
Так как эксперты в работе с поведенческими факторами научились очень грамотно работать с прокачкой профилей (нагулом). Они меняют: user-agent, IP-сети, устройства, длину сессии, разрешения и так далее. В следствии чего никакая система защиты не может сматчить весь этот трафик, как ботные переходы. В этом случае мы рекомендуем дополнительно не подгружать счетчик Яндекс Метрики для type-in и реферальных переходов без куки. Обычно просят выбрать город или другой аналогичный функционал.
В совокупности эти 2 подхода дали положительную динамику и восстановление видимости проектов в поисковых системах.
В работе с поведенческими факторами так же могут применять технологию скликивания конкурентов. В счётчике метрики вы можете заметить кратный рост переходов, по ключевым словам, с большим процентом отказов.
Данный вид переходов наносит самый явный урон сайту с точки зрения влияния на ранжирование в поисковых системах. В случае выявления данной проблемы (на больших объёмах от общего трафика), рекомендуется подключить сервис CloudFlare (метод описан выше) и параллельно выравнивать CTR, сессии и глубину при помощи собственной накрутки ПФ.
Эти типы атак объединяет большое количество запросов на сайт, близкое к срабатыванию традиционной защиты от DDoS. Такие атаки могут приводить не только к проблемам в работоспособности сайта, но и к прямым финансовым или репутационным потерям. Разберём подробнее, самые популярные примеры таких атак и способы борьбы с ними.
На большинстве ресурсов есть форма регистрации или авторизации по номеру телефона с подтверждением по SMS, когда пользователь выводит номер телефона и ему приходит sms сообщение с секретным кодом. Например, такая:
При этом во многих крупных компаниях достаточно большие бюджеты на отправку sms-сообщений и они даже не подозревают, что их сайт используется в лучшем случае для розыгрышей своих приятелей, а в худшем случае для нанесения репутационных и финансовых потерь. Делается это путём бесконечной отправки кодов на все существующие номера телефонов.
На github есть бесчисленное множество готовых программ для рассылки sms-спама. Вот некоторые из популярных программ и их баз данных сайтов, используемых при атаках (можете поискать свой сайт в списке):
Целью злоумышленников является вывод в рекомендации сайта определённых товаров или бренда. Для этого с помощью ботов искусственно накручиваются просмотры товаров или действия по добавлению товара в корзину.
В итоге, пользователи видят в рекомендациях не популярные товары или услуги, а те, которые были накручены ботом. Из-за этого работа рекомендательной системы может ухудшиться, что обернётся большими убытками.
Веб-скрейпинг (web scraping) – это парсинг доменов при помощи ботов, которые воруют контент. Обычно они выполняют GET-запросы на целевой URL, c целью извлечения данных.
Тут надо понимать, что это целая индустрия и защититься от парсинга и кражи контента полностью просто невозможно. Но это не значит, что защищаться бесполезно. Например, если у вас интернет-магазин с 100 000 SKU и у вас нет никакой защиты от парсинга, то это вопрос времени, когда ваш сайт начнёт испытывать проблемы с доступностью т.к. вам будут неожиданно прилетать тысячи запросов в секунду, создавая проблемы с доступом для нормальных клиентов.
Здесь задачи у парсеров и владельцев сайтов полностью противоположные:
Задача парсеров: собрать всю информацию с минимальными затратами и за максимально короткие сроки.
Задача владельцев ресурсов: сделать парсинг максимально дорогим, долгим и трудоёмким.
Крупные участники рынка не так страшны, т.к. они стараются быть незаметными и не создавать проблем для работы ваших сайтов, а вот средние и мелкие максимально опасны, т.к. могут в миг положить ваш сайт проводя свои эксперименты.
Способы борьбы с этим типом атак:
Традиционные способы защиты от DDoS тут будут не эффективны, т.к. общее количество запросов от ботов будет не сильно выбиваться из общей статистики, но эти запросы буду наверняка самыми тяжелыми для обработки вашим backend или дорогими, как в случае атак через SMS bomber.
В борьбе с этим типом атак поможет активная проверка через Java Script, которая при первом заходе будет незаметно для пользователя проверять что браузер реальный и только в случае успеха показывать ваш сайт.
На платных тарифах CloudFlare также доступен WAF, который позволяет гибко ограничивать доступ к сайту для определённых стран. Например, если ваш сайт ориентирован на аудиторию СНГ, то вы можете ввести требование вводить Captcha для пользователей из других стран. Это будет выглядеть так:
Такие ограничения сделают парсинг вашего сайта максимально дорогим и сложным, но всё же не невозможным.
Сервис CloudFlare на бесплатной версии предоставляет неограниченное предотвращение DDoS-атак с пропускной способностью до 90 Тбит/с. В Pro и Business версиях добавляются оповещения и WAF защита.
Подобный сервис защиты предоставляет и компания Qrator, но уже на платной основе, где в зависимости от тарифа доступны следующие опции:
Предотвращение DDoS-атак с пропускной способностью до 3000 Гбит/с
Скорость реакции: от 30 секунд до 3 минут
(пример отражения крупнейшей за всю историю DDoS атаки ботнета «Mēris»)
С недавнего времени в Qrator появилась еще и собственная система защиты от ботов. По непонятным причинам они её не особо пиарят, даже не все существующие клиенты в курсе новой услуги.
Нам удалось посмотреть презентацию этой системы ещё на этапе beta-тестирования. На наш взгляд, она даёт по сравнению с CloudFlare возможность задавать более гибкие и сложные правила блокировки или разрешения трафика. Для опытных пользователей эта система управления будет более привычна и удобна из-за своей схожести с типичными Firewall, удобством управления большим количеством правил и тестированию правил на % трафика. Но вот для людей далёких от IT, интерфейс может показаться сложнее чем у CloudFlare.
Есть и другие компании, которые специализируются конкретно на защите от ботов – например Variti. У них, несомненно, есть свои фишки, которые лучше помогают отфильтровывать ботов, но, к сожалению, этому есть цена – увеличение ложных срабатываний, когда ваши нормальные клиенты не могут получить доступ к сайту.
Есть различные сервисы краулинга, анализа и мониторинга сайтов.
Пример такого рода ботов:
Expanse, a Palo Alto Networks company, searches across the global IPv4 space multiple times per day to identify customers’ presences on the Internet. If you would like to be excluded from our scans, please send IP addresses/domains to: scaninfo@paloaltonetworks.com
UserAgent не заполнен
Mozilla/5.0 (compatible; Adsbot/3.1; +https://seostar.co/robot/)
В целом на большинстве серверов и сайтов данные переходы никак не отражаются. Но если вы хотите сократить нагрузку на ваш сервер или защитить контент от копирования, то рекомендуется понизить приоритет для таких ботов или вовсе заблокировать их. Сделать это можно на стороне сервера (анализируя логи), автоматически в бизнес версии CloudFlare или в бесплатной, используя правила.
ВЫВОД: Прежде чем предпринимать какие-то меры, необходимо понять природу трафика, его количество и метрики. Не все виды и объёмы ботных переходов критичны для проекта. Правильно выполненный анализ проблемы, позволяет с минимальными ресурсами найти верное целевое решение. Плохие боты составляют значительную часть трафика веб-сайтов, и их обнаружение и блокировка имеет важное значение для бизнеса.
актуалочка, хорошего материала по теме мало, хоть кто-то нормально написал
На github есть бесчисленное множество готовых программ для рассылки sms-спама.
Мб ссылки на бомберы не стоило крепить?
Интересная статья, автору зачёт, боты это зло
на серче уже года 1,5 активно обсуждается вся эта конетель с ботами, там рекламодатели реально офигевают от конверсии и количества скликов.