Size: a a a

2020 December 09

A

AstralRomance in Scrapy
Нашел. А как этот адрес в паука получить?
источник

A

AstralRomance in Scrapy
Не, я не могу понять, как мне получить адрес этого jquery запроса. Там кусок адреса генерится рандомно...
источник

МС

Михаил Синегубов... in Scrapy
AstralRomance
Не, я не могу понять, как мне получить адрес этого jquery запроса. Там кусок адреса генерится рандомно...
какой именно кусок?
источник

A

Andrii in Scrapy
AstralRomance
Не, я не могу понять, как мне получить адрес этого jquery запроса. Там кусок адреса генерится рандомно...
источник

A

AstralRomance in Scrapy
Михаил Синегубов
какой именно кусок?
callback=jQuery33107852307445550264_1607531304657&_=1607531304658

Вот этот - точно.
источник

МС

Михаил Синегубов... in Scrapy
а убрать его пробовал?
источник

A

AstralRomance in Scrapy
Ну либо я чего-то совсем не понимаю.
источник

A

AstralRomance in Scrapy
Михаил Синегубов
а убрать его пробовал?
Ах вот оно как.
источник

A

Andrii in Scrapy
Регексом за 1 мин
источник

A

AstralRomance in Scrapy
Andrii
Регексом за 1 мин
Если это мне, то не понял. Там можно в запрос просто скармливать name.
Оно, правда, возвращается так, что простой json.loads так сразу его не может сожрать.
источник

A

Andrii in Scrapy
Ну та я понял, там текст джей юри впереди
источник

A

Andrii in Scrapy
Убери его регексом
источник

A

AstralRomance in Scrapy
Если просто спрашивать его name&ajax=1&json=1 - оно просто в скобках возвращается, сделал так, победил. Спасибо за помощь.
источник

A

Andrii in Scrapy
Вопрос, в мидлваре у меня решает капчу библиотека на реквестс, как можно к нему прикрепить deferToThread и будет ли ето работать?
источник

К

Кирилл in Scrapy
Andrii
Вопрос, в мидлваре у меня решает капчу библиотека на реквестс, как можно к нему прикрепить deferToThread и будет ли ето работать?
вызываешь deferToThread, а в чем вопрос?
источник

A

Andrii in Scrapy
Кирилл
вызываешь deferToThread, а в чем вопрос?
никогда просто не делал
источник

К

Кирилл in Scrapy
Так наоборот же нужно блочить, пока капча не решена
источник

A

Andrii in Scrapy
Кирилл
Так наоборот же нужно блочить, пока капча не решена
так я хочу послать сразу 5-10 запросов на решение капчи
источник

К

Кирилл in Scrapy
тогда да
источник

A

AstralRomance in Scrapy
Вот распарсил я свою фигню, хочу теперь сделать как в доке:
data = json.loads(response.text[1:-1])
selector = Selector(data['html'])
А в ответ получаю, что у строчки нет атрибута "text". В дате нормальный жсон.
источник