Телеграмм чат группы scrapy

Всем доброе утро. Подскажите пожалуйста, что-то я запутался. делаю requests GET запрос. если записи нетr.json() возвращает [] тип этих данных class 'method'. как делать проверку в таком случае? если запись есть, то возвращает json

источник

10:15пожаловаться #6

D

Dr. Bot in Scrapy

мне надо лишь проверка есть json или нет. делаю обычным способом. но проверку не проходит

источник

10:15пожаловаться #7

D

Dr. Bot in Scrapy

в общем, что-то не могу понять как сделать проверку r.json() - пустой или нет

источник

10:16пожаловаться #8

К

Кирилл in Scrapy

if not response.json()

источник

10:17пожаловаться #9

D

Dr. Bot in Scrapy

Кирилл

if not response.json()

вот так сделал в первую очередь. у меня почему-то вообще тогда проверка останавливается. не выводит print ни если else, ни если false

источник

10:19пожаловаться #10

D

Dr. Bot in Scrapy

ой всё. сорри. я не продебажил print , это просто colored модуль не работает

источник

10:21пожаловаться #11

D

Dr. Bot in Scrapy

извините

источник

10:21пожаловаться #12

D

Dr. Bot in Scrapy

надо выходные делать 🙂

источник

10:21пожаловаться #13

К

Кирилл in Scrapy

Dr. Bot

надо выходные делать 🙂

Обязательно

источник

10:24пожаловаться #14

AК

Alexandr Корнеев... in Scrapy

2020-06-28_132956.png

(128.02 Кб)

Пытаюсь применить Scrapy к Алиэкспресс. Если указать только атрибут start_urls (без метода start_requests()), паук работает. Но если явно указать метод start_requests(), то не работает. В чем разница? Где проблема? На фото результат работы с start_requests()

источник

12:18пожаловаться #15

AR

Andrey Rahmatullin in Scrapy

проблема в методе, вероятно 🤷‍♂️

источник

12:21пожаловаться #16

К

Кирилл in Scrapy

Alexandr Корнеев

2020-06-28_132956.png

(128.02 Кб)

Пытаюсь применить Scrapy к Алиэкспресс. Если указать только атрибут start_urls (без метода start_requests()), паук работает. Но если явно указать метод start_requests(), то не работает. В чем разница? Где проблема? На фото результат работы с start_requests()

start_requests делает запросы по ссылкам из start_urls, если ты туда вмешиваешься, то тебе самому нужно оттуда делать запросы. Если не знаешь что делает start_requests, лучше не лезь туда

источник

12:21пожаловаться #17

AR

Andrey Rahmatullin in Scrapy

а, это потому что урлы из start_urls по умолчанию с dont_filter=True

источник

12:22пожаловаться #18

AR

Andrey Rahmatullin in Scrapy

а тут редирект на исходный урл после выставления куки и он фильтруется

источник

12:22пожаловаться #19

AК

Alexandr Корнеев... in Scrapy

Кирилл

start_requests делает запросы по ссылкам из start_urls, если ты туда вмешиваешься, то тебе самому нужно оттуда делать запросы. Если не знаешь что делает start_requests, лучше не лезь туда

Вот такие у меня варианты. Первый работает, второй нет.

источник

12:24пожаловаться #20