Size: a a a

2019 December 10

RM

R M in RubyRush
источник

DE

Denis Ef in RubyRush
Правда это не совсем парсинг.
Заходить на пяток сайтов (прописанные например в файлике жсон) и с каждого вытаскивать 2-3 рабочие ссылки (не важно какие, главное рабочие) и пробегаться по ним (банальный запрос) через рандомное количество времени.
Эдакое мини приложение, работающее 24/7.
Цель , просто логи , что был запрос по этим ссылкам.
источник

V

Vitaliy in RubyRush
Denis Ef
Правда это не совсем парсинг.
Заходить на пяток сайтов (прописанные например в файлике жсон) и с каждого вытаскивать 2-3 рабочие ссылки (не важно какие, главное рабочие) и пробегаться по ним (банальный запрос) через рандомное количество времени.
Эдакое мини приложение, работающее 24/7.
Цель , просто логи , что был запрос по этим ссылкам.
24/7 как реализуешь ? С помощью какого инструмента ? или тупо через cron ?
источник

DE

Denis Ef in RubyRush
Vitaliy
24/7 как реализуешь ? С помощью какого инструмента ? или тупо через cron ?
Можно и так, с банального raspberry даже. Главное логи :)
источник

V

Vitaliy in RubyRush
Denis Ef
Можно и так, с банального raspberry даже. Главное логи :)
ну да, если функциональность не нужна, то можно и так. Я думал парсер разместить в докере и поднимать определенный период, для проверки цен продуктов на сайте, но не смог уделить должного времени, как это все выложить в teamcity, чтобы постоянно крутилось не на компе, а в облаке
источник

DE

Denis Ef in RubyRush
Vitaliy
ну да, если функциональность не нужна, то можно и так. Я думал парсер разместить в докере и поднимать определенный период, для проверки цен продуктов на сайте, но не смог уделить должного времени, как это все выложить в teamcity, чтобы постоянно крутилось не на компе, а в облаке
Никаких цен и коммерческого уклона, приложение на уровне игрушки - " провайдер рагребает ваши логи " :)
источник

N

Ni in RubyRush
Vitaliy
24/7 как реализуешь ? С помощью какого инструмента ? или тупо через cron ?
заместо cron'a, кстати, можно юзать https://github.com/Rykian/clockwork
источник

𝓒

𝓒𝓛𝓚 in RubyRush
Denis Ef
Никаких цен и коммерческого уклона, приложение на уровне игрушки - " провайдер рагребает ваши логи " :)
Да. Прову надо помочь
источник

DE

Denis Ef in RubyRush
𝓒𝓛𝓚
Да. Прову надо помочь
Ну там потом можно и Гуглу помочь и Яндексу с "подбором" рекламы/видео для тебя :)
источник

VV

Vadim Venediktov in RubyRush
𝓒𝓛𝓚
Идеи: для локального рынка была мысль написать парсер oldi для последующего перевыставления на локальную доску объявлений . Ибо многие вещи дешевле в oldi из мск брать чем на локальном рынке. Тот же DNS  казалось бы нашенский, а нам же барыжит на 30% дороже
У нас исторически сложился farpost.ru со времён яндекса. Даже авиты и юлы и пр. Не шмогли зайти к нам во Владивосток.

Так же часты местные заказы связанные с парсингом собственно фарпоста. Ибо апи нет.

Ещё идеи: часто на фрилансерских биржах просют парсеры.
Отлично, кидайте: https://forms.gle/VSHb2Mbc9UhpokVc6
источник

VV

Vadim Venediktov in RubyRush
R M
Fb.ru запрос конкретный был у заказщика, спарсить в csv
источник

VV

Vadim Venediktov in RubyRush
R M
Господи, я только мечтал о таком. На вебинаре точно буду)
На каком вебинаре? :)
источник

RM

R M in RubyRush
Vadim Venediktov
На каком вебинаре? :)
Я про стрим))
источник

VV

Vadim Venediktov in RubyRush
👍
источник

RM

R M in RubyRush
А во сколько стрим?
источник

OS

Oleg S. in RubyRush
R M
А во сколько стрим?
в 19-30 обещали
источник

RM

R M in RubyRush
Пасыб
источник

ВП

Владимир Прудников... in RubyRush
А запись вебинара по парсингу будет ?
источник

ВП

Владимир Прудников... in RubyRush
А то я не успеваю
источник

SR

Shattered Ruby in RubyRush
Владимир Прудников
А запись вебинара по парсингу будет ?
Через сутки, если не ошибаюсь, скинут
источник