A
Size: a a a
2021 February 11
A
Для начала ок
AR
Добрый вечер. В пайплайне в методе process_item() происходит скачивание , логгирование и тд. Настройки concurrent_* установлены в 10. Но само-собой , скачивание происходит последовательно, а не параллельно. Каким образом вообще можно распараллелить это все?
что такое скачивание?
BB
что такое скачивание?
get запросом получаю респонс с параметров stream=True и пишу в файл.
AR
делай запросы через скрапи.
BB
https://www.paste.org/114924 Ну вот, это вчерашний чуть измененный, после того, как Вы подсказали насчет FILES_STORE
AR
да, прикольно, тоже на тушёнку редиректит
BB
делай запросы через скрапи.
https://docs.scrapy.org/en/latest/_modules/scrapy/pipelines/files.html?highlight=defer Нужно методы класса FilesPipeline(MediaPipeline) переопределить ?
AR
смотря для чего
AR
я не знаю о чём вообще речь
AR
чтобы пайплайн файлы скачивал вообще ничего делать не надо, он для этого и написан
AR
открыл код, прикольно
К
https://www.paste.org/114924 Ну вот, это вчерашний чуть измененный, после того, как Вы подсказали насчет FILES_STORE
Ты переопределил
process_item и сейчас он не делает что должен делать. У тебя получился простой пайплайн, который разве что дополнительно стораджи открываетAR
берём готовый пайплайн, выкидываем из него весь код и пишем свой
AR
угу
A
Дурной вопрос по enumerate,
for results in li_results:, как сделать что б енумерейт продолжал добавлять в новом цикле?
for position, elem in enumerate(results, 1):