A
Всем привет. Возвращаюсь к вчерашнему вопрос, потому что ничего не получилось сделать. Нужно кликнуть на следующую страницу в Сплэш и респонс передать обратно в итерацию. Вот как это было организовано в селениума. помогите :(
Size: a a a
2020 July 14
A
script = """
function main(splash)
btn = splash:select('#wcpt_7ad34b351423b8bd_1_wrapper > div > div.wc-product-table-below.wc-product-table-controls > div > a.paginate_button.next')
btn:mouse_click()
end
"""
next_page = response.xpath("//a[@id='tblupdates_next']/text()").get() # pagination
print(next_page)
if next_page != None:
print(next_page)
yield SplashRequest(self.parse,
endpoint='execute', args={'lua_source': script})
A
но 100% что-то не так :)
AR
скрипт ничего не возвращает
AR
и после клика ждать бы
AR
если метод сам не ждёт
2020 July 15
✏d
Вопрос: хочу писать статистику после запуска парсера в бд, нагуглил даже примеры:
https://stackoverflow.com/questions/27739380/how-to-get-stats-from-a-scrapy-run?rq=1
единственный вопрос- куда это правильно писать? в сам парсер или мидлвар или еще куда?
https://stackoverflow.com/questions/27739380/how-to-get-stats-from-a-scrapy-run?rq=1
единственный вопрос- куда это правильно писать? в сам парсер или мидлвар или еще куда?
✏d
просто сохранять стат для анализа
К
просто сохранять стат для анализа
ну тогда в любую бд
✏d
да, мне было интересно куда правильно внедрять писалку и как получать стат
2020 July 16
К
да, мне было интересно куда правильно внедрять писалку и как получать стат
Как получить, ты уже сам нашел. Так как логика касается всего проекта, то я бы поместил это в экстеншен как в доках в примере экстеншена со статсами. Писать по сигналу на закрытии паука, так как только в этот момент у тебя будет вся финальная статистика
К
Как получить, ты уже сам нашел. Так как логика касается всего проекта, то я бы поместил это в экстеншен как в доках в примере экстеншена со статсами. Писать по сигналу на закрытии паука, так как только в этот момент у тебя будет вся финальная статистика