AR
а другой скрипт может эти данные обрабатывать и ложить в бд
на диск складывай.
Size: a a a
2020 July 20
AR
штатными средствами
t
на диск складывай.
Можно и на диск, просто другим скриптом придется этот файл дрочить, чтобы данные в реалтайме брать. Поэтому и хотел сразу данные передать в скрипт, который обработает выдачу
AR
пайплайн это просто кусок кода
t
пайплайн это просто кусок кода
тогда не понял что ты имел ввиду. Хотя по идеи обработку можно делать в самом спайдере
AR
коллбэк - не место для выдачи данных наружу, это место - пайплайн
я имел в виду вот это.
t
коллбэк - не место для выдачи данных наружу, это место - пайплайн
тогда не совсем понял.Тоесть пайплан, тоесть кусок кода обработки по всей видимости лучше сделать внутри спайдера
AR
начни с простого
AR
пойми как обычные спайдеры выглядят
t
пойми как обычные спайдеры выглядят
я уже понял, мидлваре уже написал для селениума)), осталось или написать ротатор проксей для селениума или какой гтовый использовать
AR
судя по тупым вопросам про пайплайны - не целиком понял
t
судя по тупым вопросам про пайплайны - не целиком понял
с пайплайнами не имел еще дела. Ты наверно имел ввиду обрабатывать данные уже в коде item pipline?