AR
ты и так на питоне пишешь
Size: a a a
2020 June 25
A
premature optimization is the root of all evil
тоесть норм?
AR
да
AR
отдельных это как?
МС
ну, или можно или нет
вообще, желательно разносить, если надо постоянно пользоваться и поддерживать.
а если один раз спарсить и забыть - пофик
вообще, желательно разносить, если надо постоянно пользоваться и поддерживать.
а если один раз спарсить и забыть - пофик
A
отдельных это как?
ну пропарсил урлы все, поставил в список, сделал новый список на основе рандомных 10 урлов, и теперь надо пропарсить эти 10 урлы
МС
ну пропарсил урлы все, поставил в список, сделал новый список на основе рандомных 10 урлов, и теперь надо пропарсить эти 10 урлы
эээ, нефига не понял, но выглядит как две совершенно разные задачи... :)
AR
брр
A
эээ, нефига не понял, но выглядит как две совершенно разные задачи... :)
ну 10 рандомных урлов беру которые сграбил с предыдущего парсера, и теперь буду проходить по этим урлам
AR
если код одинаковый, то паук один, если совсем разный то два
МС
👆, поддерживаю предыдущего оратора :)
D
задача правильная у него. представьте блог. 1) спайдер проходит по всему сайту и собирает ссылки на статьи. 2) второй спайдер проходит уже по списку ссылок на посты и парсит от туда инфу.
итог: делать 2 спайдера нормальная тема. первый можно запускать раз в час для сбора новых ссылок.
второй спайдер работает со список уже спарсенных ссылок
итог: делать 2 спайдера нормальная тема. первый можно запускать раз в час для сбора новых ссылок.
второй спайдер работает со список уже спарсенных ссылок
A
задача правильная у него. представьте блог. 1) спайдер проходит по всему сайту и собирает ссылки на статьи. 2) второй спайдер проходит уже по списку ссылок на посты и парсит от туда инфу.
итог: делать 2 спайдера нормальная тема. первый можно запускать раз в час для сбора новых ссылок.
второй спайдер работает со список уже спарсенных ссылок
итог: делать 2 спайдера нормальная тема. первый можно запускать раз в час для сбора новых ссылок.
второй спайдер работает со список уже спарсенных ссылок
вот именно)
МС
задача правильная у него. представьте блог. 1) спайдер проходит по всему сайту и собирает ссылки на статьи. 2) второй спайдер проходит уже по списку ссылок на посты и парсит от туда инфу.
итог: делать 2 спайдера нормальная тема. первый можно запускать раз в час для сбора новых ссылок.
второй спайдер работает со список уже спарсенных ссылок
итог: делать 2 спайдера нормальная тема. первый можно запускать раз в час для сбора новых ссылок.
второй спайдер работает со список уже спарсенных ссылок
так и никто против этого ничего и не говорил.
две совершенно разные задачи, оба паука будут с совершенно разной логикой и внутряшками.
Так Андрей и сказал - "если совсем разный - то два" :)
а может у него два раза надо пройти одни и те же ссылки и обработать чуть чуть по разному. Ктож его знает 😏
две совершенно разные задачи, оба паука будут с совершенно разной логикой и внутряшками.
Так Андрей и сказал - "если совсем разный - то два" :)
а может у него два раза надо пройти одни и те же ссылки и обработать чуть чуть по разному. Ктож его знает 😏
МС
а как мне теперь во второй спайдер передавать все урлы, с item или с файла csv где я их сохраняю?
с файла, если в файл сохраняешь
как запустить последовательно два паука (если хочешь одним скриптом запускать) - есть на сайте
как запустить последовательно два паука (если хочешь одним скриптом запускать) - есть на сайте
A
с файла, если в файл сохраняешь
как запустить последовательно два паука (если хочешь одним скриптом запускать) - есть на сайте
как запустить последовательно два паука (если хочешь одним скриптом запускать) - есть на сайте
тоесть мне вот сюда щас данные с csv передавать да?