powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Вопросы по IT / Гуры PHP и серверонастройки. Нужен мозговой штурм.
16 сообщений из 16, страница 1 из 1
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224604
Конякула
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Шут - адвокат разума
Я тут уже вскользь упоминал, что мой сайт атакуют какие-то тупые боты, которые просто обновляют страницу по много раз подряд. Теперь, когда хостер начал постоянно ныть, что я перебираю лимиты стало понятно для чего боты это делают. Я даже подозреваю что хостер сам этих ботов на меня и натравил, чтобы можно было ныть и просить перейти на тариф подороже.

Боты тупо обновляют одну и ту же страницу. После попадания в бан боты ещё пару раз возвращаются, а потом меняют адрес. Атакуют сразу по несколько ботов.

Собственно вопрос: Как предотвратить такие атаки или хотя бы сократить негативный эффект?

Интересует как варианты позволяющие найти паршивца, который это делает, так и чисто технологические варианты, позволяющие на взлёте банить этих ботов и не трогать людей.

Что я уж сделал:
1. Я написал JS-код, который выполняется после загрузки страницы и дёргает серверный скрипт. Если обновил страницу 5 раз подряд и ни разу не дёрнул этот скрипт - значит бот и бан на 10 минут.
Есть проблемы:
1) Некоторые боты пропёрли, что надо дёргать этот скрипт и обходят банилку.
2) Люди на тормознутых сетях бывают попадают в бан, потому что не дожидаются загрузки страницы.
3) Люди любящие в браузере нажимать по 10 раз кнопку назад (убил бы!) тоже попадают в бан.

Какие есть ещё варианты? Может у кого есть опят борьбы с такими ботами?
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224640
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нихрена не умеешь ? Забей !
Будь как Пошэ - склипиздень двужопостворчатый !
Ничто не поможет, это как гонка вооружений.
Будешь всё больше и больше тратить времени на борьбу с ботами,
но всё равно проиграешь.

Лучше взять тариф помощнее и забыть про боты, пусть они усираются
...
Гарыныч сказал - Гарыныч спиздел
#деда#ослег#подослали

на чём бы я не осуществлял бы или осуществлял бы, объяснял бы или не объяснял бы, СОСТОЯНИЕ СИТУАЦИИ ВСЁ РАВНО ОТ ЭТОГО НЕ ИЗМЕНИЛОСЬ БЫ (с) Кикки
Изменено: 14.08.2017, 09:37 - defecator
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224646
Конякула
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Шут - адвокат разума
Да у этого хостера мощнее только тариф Вир за 12 тыщ в год. Да и тот не факт, что по нагрузкам подойдет.

Полной победы и не ожидаю. Главное сделать так, чтобы затраты на доработку ботов превзошли получаемый эффект. Тогда атака сойдет на нет.
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224669
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нихрена не умеешь ? Забей !
Будь как Пошэ - склипиздень двужопостворчатый !
Конякула 
Да у этого хостера мощнее только тариф Вир за 12 тыщ в год. Да и тот не факт, что по нагрузкам подойдет.

Полной победы и не ожидаю. Главное сделать так, чтобы затраты на доработку ботов превзошли получаемый эффект. Тогда атака сойдет на нет.
боты давно пишутся автоматическими программами, никто руками их не допиливает постоянно
...
Гарыныч сказал - Гарыныч спиздел
#деда#ослег#подослали

на чём бы я не осуществлял бы или осуществлял бы, объяснял бы или не объяснял бы, СОСТОЯНИЕ СИТУАЦИИ ВСЁ РАВНО ОТ ЭТОГО НЕ ИЗМЕНИЛОСЬ БЫ (с) Кикки
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224677
Фотография Программизд 02
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Администратор
Гидроцефалы всех стран соединяйтесь!
Ты накапливай хотя бы полудневную статистику. И если видешь однотиный запрос в большоммколичестве заноси ип в бан.

А юзерагент у ботов какой?
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224692
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нихрена не умеешь ? Забей !
Будь как Пошэ - склипиздень двужопостворчатый !
Программизд 02 
Ты накапливай хотя бы полудневную статистику. И если видешь однотиный запрос в большоммколичестве заноси ип в бан.

А юзерагент у ботов какой?
если атака идёт через ботсеть, то адресов там миллионы
...
Гарыныч сказал - Гарыныч спиздел
#деда#ослег#подослали

на чём бы я не осуществлял бы или осуществлял бы, объяснял бы или не объяснял бы, СОСТОЯНИЕ СИТУАЦИИ ВСЁ РАВНО ОТ ЭТОГО НЕ ИЗМЕНИЛОСЬ БЫ (с) Кикки
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #224859
Фотография Буся
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
defecator 
Программизд 02 
Ты накапливай хотя бы полудневную статистику. И если видешь однотиный запрос в большоммколичестве заноси ип в бан.

А юзерагент у ботов какой?
если атака идёт через ботсеть, то адресов там миллионы
ацкий удобный сервис, за 100 бакинских можно любой сайт положить
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225025
Конякула
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Шут - адвокат разума
Программизд 02 
Ты накапливай хотя бы полудневную статистику. И если видешь однотиный запрос в большоммколичестве заноси ип в бан.

А юзерагент у ботов какой?
Деда, боты после бана сразу меняют IP и со старым если и приходят, то не часто.
Юзерагент там у них как у браузеров.
defecator 
боты давно пишутся автоматическими программами, никто руками их не допиливает постоянно
Ну не знаю, одно время у меня боты отсеивались, потому что не догадывались скрипт дёргать. Потом такое ощущение, что их кто-то допилил и они начали дёргать скрипт. Не все, но некоторые.
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225028
Конякула
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Шут - адвокат разума
Самое интересное, что их заходы даже яндекс-вебвизор видет. Такое ощущение, что они ещё и яндексовские скрипты дёргают. Подозреваю, что одна из целей увеличить число отказов в глазах яндекса и загнать подальше в выдаче.
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225192
ArheGavre
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
заплатил налоги, спишь спокойно
Конякула,

Как я уже писал тут - 202031
Root 
1 - наитупейшай тип доса.
Длянахуя - от нехуй делать, сайт особо нн страдает но если хостер считает процвремя/нагрузку/просмотры и имеет на них лимит (и такое часто бывает) то как вариант это хитрожопый метод зарубить лимиты хостера и тебя заблочат. (было на практике). Ктонахуй - уто угодно отнехуй делать.))))
2 - как защититься,
Спойлер
смотря какой движ на сайте, попробуй зарубить запрос нв один и тот же ресурс повторно с одного пула ип по маске, либо при повторе разверни в его запрос невьебеную хрень, либо на повторы настрой сервер на игнор. Попробуй запретить перезагрузку страницы (это возможно, но включи кэширование).
Вообщем фантазируй
Вообщем, как я решал проблему - насоздавал уйму масок на бан с отправкой в iptables. Включил кеша, чтобы загасить запросы лишние, и загасил пассивное соединение. Сначала помогло, но потом боты обошли + гулял пакук поисковика. В итоге плюнул, и перешел на нормальный хост, который не считает процессорное время та и у них свой барьер

Соответственно и совет, меняй к херам хостера на нормального.
Если у тебя тупо сайт - возьми себе vps/vds, баксов зв 25, тебе хватит. Подними на нем вебсервак и юзай. Я на just-hosting сижу, порталы для смарттв по 200 клиентов онлайн тянет.
...
Izmail
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225210
Фотография Программизд 02
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Администратор
Гидроцефалы всех стран соединяйтесь!
Конякула,

Покажи какой ты крутой линуксоид, тут чел описывает технологию

https://habrahabr.ru/post/204508/

Суть скрипта такова, что через определенное время кроном запускается скрипт и проверяет все соединения с сервером, ip и кол-во их соединений которые записываются в файл. Потом запускается другой скрипт, который смотрит, если соединения, превышают заданное число (у меня стоит 20), то создается скрипт с блокировкой этих айпишников через iptables.
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225218
ArheGavre
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
заплатил налоги, спишь спокойно
За твои решения
Конякула 
Есть проблемы:
1) Некоторые боты пропёрли, что надо дёргать этот скрипт и обходят банилку.
2) Люди на тормознутых сетях бывают попадают в бан, потому что не дожидаются загрузки страницы.
3) Люди любящие в браузере нажимать по 10 раз кнопку назад (убил бы!) тоже попадают в бан.
Какие есть ещё варианты? Может у кого есть опят борьбы с такими ботами?
1. Во первых этот код надо выполнить в первую очередь а не после загрузки. Во вторых, этим бороться надо не яваскриптом, а на уровне сервера, как минимум питон перл пхп, я лично луа-скрипты пишу, но никак не на уровне ресурс -клиента. И почему на 10минут бан? Цифра с потолка? Бань пожизненно если бот, на год если дятел.
2. Решиться автоматически после выполнения 1 пункта.
3.про дятлов обновляющих страницы - сделай так - запросил одну и ту же страницу дважды подряд - делай редирект на страницу предупреждения, обновит еще ращ ее или ту - в бан.
4 . Файл робота сделай
...
Izmail
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225220
ArheGavre
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
заплатил налоги, спишь спокойно
Программизд 02 
Конякула,

Покажи какой ты крутой линуксоид, тут чел описывает технологию

https://habrahabr.ru/post/204508/

Суть скрипта такова, что через определенное время кроном запускается скрипт и проверяет все соединения с сервером, ip и кол-во их соединений которые записываются в файл. Потом запускается другой скрипт, который смотрит, если соединения, превышают заданное число (у меня стоит 20), то создается скрипт с блокировкой этих айпишников через iptables.
Есть косяк в твоем решении - крон сам будет жрать лимиты в добавление к ботам))))
И вообще судя по его пляскам с яваскриптом есть побозрения что у него хостинг, а не хостсервер
...
Izmail
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225484
Конякула
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Шут - адвокат разума
Root 
И вообще судя по его пляскам с яваскриптом есть побозрения что у него хостинг, а не хостсервер
у меня хостинг. Пока про vds я только думаю, но ещё не решился взять.

Я бы на ботов может и забил бы. Но они ещё и скрипты яндекса дёргают (яндекс метрики) в итоге у меня получается много заходов на сайт длительностью по 5-10 секунд. А это по правилам яндекса - отказ. А раз отказов много, значит сайт гавно и надо его в поиске подальше запихать.
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #225595
Фотография Программизд 02
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Администратор
Гидроцефалы всех стран соединяйтесь!
Раз у тебя пока простой хостинг, я бы написал продвинутый трэкинг и аналитику.

Типа IP с топовой нагрузкой и напротив каждого график количества запросов в минуту и крестик для быстрой блокировки.

Потом можно автоматизировать блокировку.
...
Рейтинг: 0 / 0
Гуры PHP и серверонастройки. Нужен мозговой штурм.
    #407984
Конякула
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Шут - адвокат разума
Я кстати перешел на VDS-сервер и часть тупых ботов отвалилось. Полезли другие. Самых упоротых забанил с помощью iptables. Сейчас нагрузка норм.
...
Рейтинг: 0 / 0
16 сообщений из 16, страница 1 из 1
Форумы / Вопросы по IT / Гуры PHP и серверонастройки. Нужен мозговой штурм.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]