AR
а универсальный код, который сам догадается использовать ли хедлесс браузер, и если да, то какой, надо продавать как саас, а не собирать и выкладывать, т.к. это дохера работы так-то
Size: a a a
2020 April 09
AR
ещё и скрипт чтоб написал за тебя для хедлесс браузера
AC
т.е. получается у нас много параметров и кол-во разнообразных попыток стремится к бесконечности
AC
ну скорее не догадывается а просто методом грубой силы
AC
начинает менять параметры парсинга
AC
т.е. я понимаю что я хочу - чтобы менялись параметры парсинга каждый раз после неудачи, но как это архитектурно красиво сделать
AC
а универсальный код, который сам догадается использовать ли хедлесс браузер, и если да, то какой, надо продавать как саас, а не собирать и выкладывать, т.к. это дохера работы так-то
вот это более сложная вещь, думаю то что я описал гораздо проще должно быть
AC
может в книгах или на курсах описано что-то подобное?
AR
опять же если задача "есть N доменов и к ним ещё не написаны спайдеры", то я себе представляю максимум детектилку что вот тут капча и юзерагентом не обойдёшься
AC
не, я не про секреты а может какие-то бест-практис, которые уже всем известны
AR
а если спайдеры написаны, так под паппетир их переписывать один хрен
AR
но я канеш не специалист, в SH юзкейсы и воркфлоу другие немношк (и кравлера)
AC
извини, а паппетир это что такое?
AR
это такой модный селениум
AC
пока про капчу даже разговор не идет, просто есть домены которые либо не парсятся, т.е. попадает какой-то левый код, либо не дают данные
AR
не бывает такого, что "не парсятся, т.е. попадает какой-то левый код, либо не дают данные" и это при этом не защита
AC
т.е. думаешь там капча?
AR
защита необязательно капча
AR
ну т.е. смотря что там, если условный 403 то одно, а если пустая страница то это я даже не знаю с чего бы