Size: a a a

2020 September 02

DM

Dmitriy Tensei Malys... in RubyRush
смотря че парсится, у wordpress'a мб по дефолту есть какой то бан за N кол запросов
источник

DM

Dmitriy Tensei Malys... in RubyRush
а у некотрых и вообще ниче нету
источник

M

MK in RubyRush
бан есть, потому что я уже там) возможно временный
источник

DM

Dmitriy Tensei Malys... in RubyRush
про прокси там скорее всего зависит от того что юзаешь
источник

DM

Dmitriy Tensei Malys... in RubyRush
вроде net::http может получать на вход прокси адрес и пароль
источник

M

MK in RubyRush
Dmitriy Tensei Malyshev
про прокси там скорее всего зависит от того что юзаешь
nokogiri
источник

DM

Dmitriy Tensei Malys... in RubyRush
Net::Http.new(...где_то_тут_прокси,..)
источник

DM

Dmitriy Tensei Malys... in RubyRush
чекай в доке или гугли
источник

DM

Dmitriy Tensei Malys... in RubyRush
тогда
источник

DM

Dmitriy Tensei Malys... in RubyRush
что парсишь если не секрет)?
источник

M

MK in RubyRush
сам синтаксис не проблема найти
Nokogiri::HTML(open(url, :proxy => 'http://(ip_address):(port)'))
источник

DM

Dmitriy Tensei Malys... in RubyRush
ну я не юзал прокси в нокогири, тут либо гугл либо ждать кого нить кто юзал)
источник

M

MK in RubyRush
Хотел скорее опыт послушать в двух словах, кто сталкивался
источник

M

MK in RubyRush
Dmitriy Tensei Malyshev
что парсишь если не секрет)?
большой объем информации)
источник

DM

Dmitriy Tensei Malys... in RubyRush
т.е тебе нужно полностью весь сайт спарсить?
источник

M

MK in RubyRush
не весь, но достаточно много запросов получается из за структуры
источник

M

MK in RubyRush
не самый удобный сайт для парсинга так сказать
источник

DM

Dmitriy Tensei Malys... in RubyRush
ну можно с таймаутами попробовать конечно
источник

DM

Dmitriy Tensei Malys... in RubyRush
но это подбирать все равно
источник

DM

Dmitriy Tensei Malys... in RubyRush
придется
источник