M
Я нуб в скрапи и нужна помощь, я должен спарсить таблицу с данными , за конкретный год , но что бы вывести в ручную этот список нужно ввести конкретный год и прожать кнопку , как я могу это сделать через прогу ?
Size: a a a
2020 April 11
Д
Посмотреть какой запрос отправляет сайт
К
Mr.Leon
Я нуб в скрапи и нужна помощь, я должен спарсить таблицу с данными , за конкретный год , но что бы вывести в ручную этот список нужно ввести конкретный год и прожать кнопку , как я могу это сделать через прогу ?
Если тебе нужна только одна таблица, то можно Ctrl+С скопировать. Казалось бы банальность, но некоторые не знают
M
))
M
Не одна
M
))
A
А сколько?
B
Mr.Leon
Я нуб в скрапи и нужна помощь, я должен спарсить таблицу с данными , за конкретный год , но что бы вывести в ручную этот список нужно ввести конкретный год и прожать кнопку , как я могу это сделать через прогу ?
POST request, лучше для начала начать с библиотеки requests и изучения как отсылаются запросы во вкладке network хрома.
AR
жопа вроде
AR
но я давно про него читал
G
жопа вроде
В плане?
AR
В плане сложности
D
Доброе Утро! Скажите пожалуйста, а работа с next page в сплеше отличается от обычного паука?
В обычном пауке он просто находит ссылку и делает по ней реквест, таким образом он их открывает сразу несколько, а потом обрабатывает.
А в сплеше он справиться с такой многопоточностью ? Или нужно как в ручную уустанавливать правило открывать след страницу после завершения всех дел на текущей ?
Может есть ссылка на документацию или статью? я беглым образом не нашёл .
В обычном пауке он просто находит ссылку и делает по ней реквест, таким образом он их открывает сразу несколько, а потом обрабатывает.
А в сплеше он справиться с такой многопоточностью ? Или нужно как в ручную уустанавливать правило открывать след страницу после завершения всех дел на текущей ?
Может есть ссылка на документацию или статью? я беглым образом не нашёл .
И
как реализуется обход по сайту если там куча вложеных друг в друга ссылок. примерно 4-5 вглубь и мне по паре параметров на каждом уровне надо собрать ? на каждом уровне собираются все ссылки и проходятся в scrapy.http.Response в цикле ? или на каждый уровень вложенности пишется отдельная функция def parse() ?
B
Илья
как реализуется обход по сайту если там куча вложеных друг в друга ссылок. примерно 4-5 вглубь и мне по паре параметров на каждом уровне надо собрать ? на каждом уровне собираются все ссылки и проходятся в scrapy.http.Response в цикле ? или на каждый уровень вложенности пишется отдельная функция def parse() ?
Можно рекурсией в parse
И
yield ?
AR
Илья
как реализуется обход по сайту если там куча вложеных друг в друга ссылок. примерно 4-5 вглубь и мне по паре параметров на каждом уровне надо собрать ? на каждом уровне собираются все ссылки и проходятся в scrapy.http.Response в цикле ? или на каждый уровень вложенности пишется отдельная функция def parse() ?
А чем плохо втупую? Надо глубину ограничить?
AR
А, ну если ничего не надо то можно просто на один коллбэк всё, можно даже CrawlSpider