Как защитить сайт от вредных ботов: личные наблюдения, советы и немного паранойи

Интернет сегодня — как большой вокзал: кто-то спешит по делу, кто-то просто гуляет, а кто-то с явным намерением стащить кошелёк. Вот и в мире сайтов — всё то же самое. Одни посетители заходят почитать или что-то купить, другие — это "боты", не всегда дружелюбные. И если раньше казалось, что боты — это что-то из мира фантастики или хакерских триллеров, то сейчас они лезут повсюду. Прямо как комары летом — ты их не звал, а они всё равно прилетели. Как бороться с ботами немного раскроем тему сегодня.

Кто такие боты и зачем они вообще приходят?

Если по-простому, бот — это программа, которая автоматически заходит на сайты и делает что-то. Иногда полезное (например, Google-бот индексирует сайт), но часто — совсем наоборот. Некоторые вредоносные боты выкачивают контент, другие ищут уязвимости, третьи перегружают сайт запросами до тех пор, пока тот не ляжет. Это как незваный гость, который пришёл на вечеринку и решил всё испортить.

Иногда думаешь: ну зачем им мой сайт, там же ничего сверхсекретного? А потом смотришь в логи и видишь, как из Вьетнама или Бразилии кто-то долбит в логин-форму с интервалом в 3 секунды. И вроде бы мелочь, а неприятно.

Как понять, что на сайте завелись боты?

Поначалу я просто замечал, что сайт иногда тупит. Потом начал разбираться — в логах десятки, если не сотни запросов с одинаковыми IP, странными user-agent’ами вроде python-requests/2.25.1, и всё это — за пару секунд. Особенно забавно было, когда бот пытался "косить" под человека, но забывал включить JavaScript. Классика.

Если у тебя в админке появились подозрительные регистрации или комментарии на китайском, скорее всего, это тоже боты. А ещё — если сильно возрос трафик, но никто ничего не покупает и не пишет — проверь, может, это вовсе не люди.

Что можно сделать просто и сразу?

Вот тут я сперва пошёл по лёгкому пути. Поставил капчу на формы. Не люблю их — сам вечно не могу понять, где тут светофоры, а где витрины. Но помогает. Ещё немного поколдовал с .htaccess, заблокировал пару IP-подсетей, где чаще всего пасутся подозрительные товарищи. Простейший WAF от хостинга — тоже штука полезная, хотя и не панацея.

Ну и базовая гигиена: скрыть панель админа, убрать ненужные формы, запретить индексацию некоторых страниц через robots.txt.

Когда хочется чего-то поумнее

Потом начал копать глубже. Оказалось, есть целые системы — типа Cloudflare, BotGuard и прочие. Ставишь фильтр, настраиваешь — и вроде тише становится. Хотя и не всегда. Некоторые боты, особенно дорогие и умные, умеют обходить всё это, и тут уже приходится применять поведенческий анализ. Это, конечно, звучит красиво, но на практике — муторно.

Например, если кто-то кликает по сайту со скоростью 10 страниц в секунду — скорее всего, это не человек. Но если бот учится имитировать движение мышки и задержки между кликами... всё, приехали. Тут или нанимай аналитика, или используй готовые платные решения.

Почему не стоит увлекаться

Однажды я настроил такую систему фильтрации, что сам не смог зайти на свой сайт. Ну, почти. Но реально — если переборщить, можно оттолкнуть реальных посетителей. А капчи иногда выводят людей из себя. Особенно на мобильных. В итоге приходится балансировать: защитить сайт, но не запереть его в бункер с кодовым замком на каждый клик.

Поддерживать защиту нужно постоянно

Самая большая ошибка — настроить один раз и забыть. Боты не спят. Они эволюционируют. Поэтому важно регулярно проверять, что происходит: смотреть логи, обновлять движок сайта, удалять устаревшие плагины. И просто держать руку на пульсе.

Заключение — философское

Полной защиты не существует. Как бы ты ни пытался — найдётся кто-то умнее. Но как и в жизни: нельзя оградиться от всего, но можно поставить крепкую дверь и не оставлять ключ под ковриком. Защита от ботов — это не спринт, а марафон. Не стоит паниковать, но и расслабляться тоже рано. Ведь если ты не следишь за своим сайтом — за ним будет следить кто-то другой.