VB
А в старт асинк можно ?
Та я же сам спрашиваю))
Size: a a a
2020 April 21
VB
скрапи и так умеет по хттп ходить...
Та мне бан не страшен. Мне скорости нужно максимально получить
AR
Та мне бан не страшен. Мне скорости нужно максимально получить
дак выкинь скрапи, чо ж ты мучаешься-то
2020 April 22
И
scrapy.Response нужен только для того чтобы проверить ответ ? то есть есть ли по факту страница ?
AR
Илья
scrapy.Response нужен только для того чтобы проверить ответ ? то есть есть ли по факту страница ?
Он нужен чтобы делать с ответом чтобы что-то (то есть всегда)
И
могу я с его помощью выудить одно значение с целевой страницы не создавая еще одну def parse() ?
И
может кто сталкивался, добавляю еще одну функцию в глубь страницы и yield scrapy.Request(engine_link, callback=self.fourth_floor, dont_filter=True, cb_kwargs=dict(item=item)) и у меня начинает записывать одинаковые итемы, самый последний. С первыми тремя такой проблемы не было.
И
даже если эта функция ничего не делает
B
Илья
может кто сталкивался, добавляю еще одну функцию в глубь страницы и yield scrapy.Request(engine_link, callback=self.fourth_floor, dont_filter=True, cb_kwargs=dict(item=item)) и у меня начинает записывать одинаковые итемы, самый последний. С первыми тремя такой проблемы не было.
Dont_filter точно нужен?
И
да, без него то же самое
B
А для чего Айтем в cb_kwargs передаёте?
И
с первой страницы собирает два поля в итем и ссылки, на каждую ссылку следущая функция, там еще пять полей собирается и еще ссылки.. ну и так далее. В конце должен получиться итем с 10+ полей.
B
Сколько yield и ретурнов айтемов?
И
https://pastebin.com/yAz58JE9 это тестовая часть, тут всего две функции. И даже тут уже не робит. В основном пауке их всего четыре и первые три работают как надо
B
Илья
https://pastebin.com/yAz58JE9 это тестовая часть, тут всего две функции. И даже тут уже не робит. В основном пауке их всего четыре и первые три работают как надо
Цикл в fourth_floor
И
Без него тоже самое