A
Илья
я имею ввиду паука со всей его инфраструктурой итемами пайплайнами сетингс и т . .д
Size: a a a
2020 July 05
И
мне нужен один сайт, у него довольно таки большая база и мне надо скрапить привлекая к себе по минимуму внимания. То есть проверяется если айди есть в базе и общая инфа не особо изменилась, то паук пропускает его и идёт к следующему. А вот если нет, то проходит по ссылке вглубь и там уже парсит по полной
iz
Илья
мне нужен один сайт, у него довольно таки большая база и мне надо скрапить привлекая к себе по минимуму внимания. То есть проверяется если айди есть в базе и общая инфа не особо изменилась, то паук пропускает его и идёт к следующему. А вот если нет, то проходит по ссылке вглубь и там уже парсит по полной
сделать поле id в базе уникальным и ловить эксепшен что этот id уже есть
A
Илья
мне нужен один сайт, у него довольно таки большая база и мне надо скрапить привлекая к себе по минимуму внимания. То есть проверяется если айди есть в базе и общая инфа не особо изменилась, то паук пропускает его и идёт к следующему. А вот если нет, то проходит по ссылке вглубь и там уже парсит по полной
ну вот моим способом можно первым пауком парсить ссылки которых нету в базе, а другим паучком уже по этих ссылках парсить что тебе надо
A
там же идет подключение к оперативной памяти, такое делают просто когда тестят на етапе разработки же
И
схоронил, спасибо