AR
потому что все фигачат в один поток, либо мультипроцессингом
Size: a a a
2020 July 16
AR
и потому что запускать сразу пачку хромов могут позволить себе далеко не все
t
потому что все фигачат в один поток, либо мультипроцессингом
мультипроцессингом нормальные сайты с антибот защитой не пропарсишь, поэтому хроме
t
и потому что запускать сразу пачку хромов могут позволить себе далеко не все
ну несколько шт то должно осилить. Просто вот не понятно как между собой к прмиеру ип адреса синхронизировать или оно само будет уметь?
AR
мультипроцессингом нормальные сайты с антибот защитой не пропарсишь, поэтому хроме
мультипроцессингом с селениумами, алоэ
AR
ну, в большинстве-то случаев вообще сплеша достаточно
AR
ну несколько шт то должно осилить. Просто вот не понятно как между собой к прмиеру ип адреса синхронизировать или оно само будет уметь?
что такое "между собой ип адреса синхронизировать"?
t
что такое "между собой ип адреса синхронизировать"?
если запускать несколько копий хрома и каждый будет из пула брать ип прокси, то надо сделать так, чтобы оба экземпляра понимали, чтотакой то ип уже использовался и его к примеру надо повторно использовать к примеру через секунд 30
AR
как напишешь кусок про "из пула брать ип прокси", так и будет
t
ну, в большинстве-то случаев вообще сплеша достаточно
а со сплешем не грузит проц? Просто хз как с ним работать будет с антибот защитой. Там и антикапчу возможно прикрутить?
AR
грузит конечно, как не грузит
AR
зачем антикапче браузер я уже спрашивал
AR
но правда я с таким не работал
t
как напишешь кусок про "из пула брать ип прокси", так и будет
примеров подобного не находил и не знаю как сделать. Вооще хотел использовать это: https://github.com/TeamHG-Memex/scrapy-rotating-proxies но как оно будет с несколькими копиями работать не знаю
AR
никак не будет, оно не для селениума, а для скрапи
t
зачем антикапче браузер я уже спрашивал
вообще браузер нужен чтобы js работал. А антикапча работатет если есть js. Ну и ан тибот защиты могут к примеру как то определять браузер. Сплеш просто неизвестный и при проверки может показать бота, этов теории
AR
ну твоё дело
AR
селениум тоже детектится
AR
тебе правда один хрен капчу показывает, поэтому это всё дело такое
t
никак не будет, оно не для селениума, а для скрапи
тогда я уже хз, нужен ли вообще скрапи, может все с нуля самому писать. Просто ск рапи показался удобным и быстро спайдеры писать