AC
ок, спасибо! мне щас идти нужно
Size: a a a
2020 April 09
AB
Alexander Chaptykov
а в мидлвер что прописано?
там ничего не прописано, на то scrapy_selenium и нужен....
AC
там ничего не прописано, на то scrapy_selenium и нужен....
у меня он плохо парсил и я от него отказался, т.е. просто не парсит некоторые домены
AB
ну буду попробовать через свою мидлварю
AR
слать пост
Д
Еще есть варик вручную добавлять, например так ?page={page_number}, т.е. ?page=1, ?page=2
Д
Или чекать есть ли переход на следующую страницу и если да, генерировать новый урл
AR
Данил
Скиньте метод __doPostBack
тут два варианта, либо ты видел ASP.NET Web Forms, либо не видел, в обоих случаях скинуть метод не поможет
AR
добавлять что-то в урл, понятное дело, тоже не поможет
Д
тут два варианта, либо ты видел ASP.NET Web Forms, либо не видел, в обоих случаях скинуть метод не поможет
Понятно. Не сталкивался, поэтому и предложил, сорян)
A
Кто знает, openpyxl с csv в excel 200 000 строк без проблем конвертнет?
AC
а есть какой нибудь бест-практис код по scrapy который бы включал себя все подходы чтобы была ротация прокси, ротация агентов, ротация спайдеров если не качается домен?
AC
просто есть задача спарсить n доменов, и не существует идеального подхода, где-то помогает splash где то селениум, где-то нужно прокси менять
AR
да, crawlera :D
AR
ротация спайдеров это как?
AC
ну например у меня один спйадер это селениум а второй это сплэш