Size: a a a

2020 July 24

SS

Stepan Smirnov in Scrapy
а где можно найти гайд по работе с  xhr запросами?
источник

К

Кирилл in Scrapy
Stepan Smirnov
Пытаюсь скачать файлы c okkjemi.no (ссылки на файлы есть в коде)

Ссылка на паука который вызывает пайплайн на скачивание файла
https://pastebin.com/qhf9u395

Ссылка на сам пайплайн
https://pastebin.com/qhXqTigN

Проблема - сайт не отдает файлы, как остальные. Файлы скачиваются пустыми (по 1 КБ)
Заметил, что если очистить куки - то в ручном режиме тоже будет ошибка при попытке открыть pdf.
Предварительный заход на сайт для получения куки не решил проблемы.

Что нужно поправить чтобы код начал скачивать файлы?
Да, там нужны куки сессии
источник

К

Кирилл in Scrapy
попробуй сначала один запрос делать и из его калбэка уже другие
источник

AR

Andrey Rahmatullin in Scrapy
Stepan Smirnov
а где можно найти гайд по работе с  xhr запросами?
источник

SZ

Serj Z. in Scrapy
Дико извиняюсь, есть кто-то не очень занятый?
источник

К

Кирилл in Scrapy
сразу задавай вопросы, без подводок
источник

SZ

Serj Z. in Scrapy
response.css('h3.cAuthorPane_author a::text').extract()
выводит, вполне ожидаемо, набор логинов, но в одну строку, как идеологически правильно разбивать по одному на строку?
еще не вполне понимаю как работает yield для for * in *, вывод получаю, но при этом игнорируется другой yield снаружи
источник

A

Andrii in Scrapy
источник

К

Кирилл in Scrapy
Serj Z.
response.css('h3.cAuthorPane_author a::text').extract()
выводит, вполне ожидаемо, набор логинов, но в одну строку, как идеологически правильно разбивать по одному на строку?
еще не вполне понимаю как работает yield для for * in *, вывод получаю, но при этом игнорируется другой yield снаружи
Правильно, если у тебя несколько итемов на странице, делать цикл по общему элементу, к примеру список продуктов, по нему итерируешься, и за каждую итерацию формировать один продукт. Если я правильно вопрос понял
источник

SZ

Serj Z. in Scrapy
Форум, я в общем диве перебираю дивы с классом "топик"
источник

SZ

Serj Z. in Scrapy
При этом хотелось бы зацепить несколько элементов вне его, пока что получается либо вне, либо внутри
источник

К

Кирилл in Scrapy
Serj Z.
response.css('h3.cAuthorPane_author a::text').extract()
выводит, вполне ожидаемо, набор логинов, но в одну строку, как идеологически правильно разбивать по одному на строку?
еще не вполне понимаю как работает yield для for * in *, вывод получаю, но при этом игнорируется другой yield снаружи
по генераторам, йелд не может игнорироваться, возможно у тебя там какое-то условие стоит
источник

К

Кирилл in Scrapy
Serj Z.
При этом хотелось бы зацепить несколько элементов вне его, пока что получается либо вне, либо внутри
Без примеров непонятно
источник

К

Кирилл in Scrapy
вместо extract используй getall()
источник

К

Кирилл in Scrapy
extract_first() -> get()
источник

SZ

Serj Z. in Scrapy
источник

SZ

Serj Z. in Scrapy
источник

SZ

Serj Z. in Scrapy
источник

SZ

Serj Z. in Scrapy
источник

SZ

Serj Z. in Scrapy
источник