m
меня например за 1 запрос в 20 минут забанил по ip
через пару суток
cloudflare
через пару суток
cloudflare
Size: a a a
2020 September 11
D
На Ютубе?
m
downdetector
парсил страничку со сбоями телеги
и выводил в онлайн статус
парсил страничку со сбоями телеги
и выводил в онлайн статус
АМ
ну с банами проще разобраться
АМ
прокси \ юзерагенты
m
так я раз в 20 минут
это не то чтобы часто
чаще - быстрее ба нашли
там надо рандомизировать время запросов
и тд
чтобы они не были повторяющиеся
если есть какаянить защита
это не то чтобы часто
чаще - быстрее ба нашли
там надо рандомизировать время запросов
и тд
чтобы они не были повторяющиеся
если есть какаянить защита
АМ
рандом(1, 333)
m
ну опять же - если столкнешься
как правило все крупные сервисы защищаются от парсинга
с разной успешностью
как правило все крупные сервисы защищаются от парсинга
с разной успешностью
АМ
у меня эиуляция открытого окна
АМ
селениум + вебдрайвер
m
Переслано от Andrew Boiko
в современном парсинге конечно главная проблема это процессорное время, надо получается загрузить целеком весь сайт (html, css, картинки, js) потом исполнить весь JS и CSS, потом спарсить получившийся DOM
АМ
понапихали проверок
m
ну это умышленно кстати
m
на всяких там барахолках и тд
у кого база их это основная ценность
у кого база их это основная ценность
m
делают чтобы для получения страницы приходилось тратить процессорное время
АМ
что бы парсинг дорогой был?
m
можно просто было пихать майнер
m
что бы парсинг дорогой был?
да
m
загружаешь страничку - немного хешей перебираешь)
m
Переслано от Andrew Boiko
в современном парсинге конечно главная проблема это процессорное время, надо получается загрузить целеком весь сайт (html, css, картинки, js) потом исполнить весь JS и CSS, потом спарсить получившийся DOM
еще при этом у тебя страница получается каждый раз разная немного