Телеграмм чат группы scrapy

сеттинг работает только с crawl

14:27пожаловаться #1

потому что это часть проекта

14:27пожаловаться #2

Process user in Scrapy

понял, спасибо большое

14:28пожаловаться #3

https://www.google.com/search?q=accept+json

возможно если ты туда правильный Accept передашь, может быть он сможет json отдать, но это маловероятно

скажи что ты имел ввиду

скажи что ты имел ввиду

Google

accept json - Google Search

14:33пожаловаться #5

https://www.google.com/search?q=accept+json

Google

accept json - Google Search

14:41пожаловаться #6

правильно сделал?

14:41пожаловаться #7

tfhx8 in Scrapy

Oleg Shleiko

у них апишка есть такая же как и на рукапче той же

тогда это не совсем тот полный автомат, где люибу подключил и все)

16:01пожаловаться #8

image_2020-06-21_21-13-45.png

(4.8 Кб)

всем привет, выдает ошибку после запуска паучка

21:13пожаловаться #9

в коде я через ItemLoader прогружаю данные через скрытый апи (для динамического парсинга) а потом и саму страницу скрапаю

21:15пожаловаться #10

21:15пожаловаться #11

я так понял itemloader неможет и то и то делать одновременно или проблема в другом?

21:15пожаловаться #12

image_2020-06-21_21-13-45.png

Archie

(4.8 Кб)

всем привет, выдает ошибку после запуска паучка

Покажи полную ошибку

21:20пожаловаться #13

Покажи полную ошибку

21:21пожаловаться #14

Archie

Передавай article в selector, а не в response

21:23пожаловаться #15

Странно что там нет проверки, что response, это инстанс Response

21:26пожаловаться #16

Передавай article в selector, а не в response

вроде все скрапает

21:29пожаловаться #17

Dima Moiseenko in Scrapy

вечер добрый, пытаюсь реализовать запись айтемов паука в файл через встроенный класс, но получаю лишь пустой список в файле - []

22:33пожаловаться #18

Dima Moiseenko in Scrapy

если сделать через обычную запись, то все гуд

22:34пожаловаться #19

Dima Moiseenko in Scrapy

есть у кого-то какие-то мысли на этот счет?