Size: a a a

2020 July 24

AR

Andrey Rahmatullin in Scrapy
ну так и селектор другой
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
ну так и селектор другой
там а это и есть link
источник

AR

Andrey Rahmatullin in Scrapy
тебе виднее
источник

AR

Andrey Rahmatullin in Scrapy
между a и a ::attr(href) тоже в общем-то разница есть
источник

AR

Andrey Rahmatullin in Scrapy
но вообще "не сматчилось" опровергают проверкой результата, а не доказательствами что вот эти два селектора одно и то же матчат
источник

S

SoHard 🎄 in Scrapy
response.css('.title-cell a::attr(href)').getall()
есть ссылки в шелле
response.follow_all(response.css('.title-cell a::attr(href)').getall() .... паук не заходит по ссылкам
источник

AR

Andrey Rahmatullin in Scrapy
этот код вообще ошибку выдаст
источник

AR

Andrey Rahmatullin in Scrapy
а, ты yield from не делаешь, просто вызываешь что ли
источник

S

SoHard 🎄 in Scrapy
бляя
источник

S

SoHard 🎄 in Scrapy
а чо ж нет никаких ошибок
источник

AR

Andrey Rahmatullin in Scrapy
каких ошибок ты ждёшь? ты вызвал функцию
источник

AR

Andrey Rahmatullin in Scrapy
ну и надо ж понимать что выполняются только реквесты которые вернули из коллбэка
источник

S

SoHard 🎄 in Scrapy
да, это как обычно моя невнимательность
источник

S

SoHard 🎄 in Scrapy
спасибо)
источник

К

Кирилл in Scrapy
Загляни в исходник этого метода, там даже можно сразу селекторы передавать
источник

К

Кирилл in Scrapy
Ну и в тайпе пишут, что отдаёт генератор
источник

S

SoHard 🎄 in Scrapy
Кирилл
Загляни в исходник этого метода, там даже можно сразу селекторы передавать
да, я так и делаю, ссылки тыкал когда не мог понять почему не работает
источник

i

ildar in Scrapy
💀 Ңӥҟӥҭӓ Ҁӆӑҫҭӥӿӥӊ 🐲
я чё спрашиваю
планирую писать около десяти парсеров, хочу к какому-то виду одному придерживаться
Даже начиная с того, что в xpath надо  div[[@class="product-info"] а в css писать в 2 раза меньше, в духе ".product-info"
Поэтому я предпочитаю css, а если к примеру надо вытащить html-комменты, такого я для css вот не находил, тут уже заводится шарманка xpath
источник

AR

Andrey Rahmatullin in Scrapy
[@class="product-info"] ещё и не универсально нихрена
источник

SS

Stepan Smirnov in Scrapy
Пытаюсь скачать файлы c okkjemi.no (ссылки на файлы есть в коде)

Ссылка на паука который вызывает пайплайн на скачивание файла
https://pastebin.com/qhf9u395

Ссылка на сам пайплайн
https://pastebin.com/qhXqTigN

Проблема - сайт не отдает файлы, как остальные. Файлы скачиваются пустыми (по 1 КБ)
Заметил, что если очистить куки - то в ручном режиме тоже будет ошибка при попытке открыть pdf.
Предварительный заход на сайт для получения куки не решил проблемы.

Что нужно поправить чтобы код начал скачивать файлы?
источник