A
Еще не собрал?
Size: a a a
2021 January 09
2021 January 10
2021 January 11
AA
Ребят, всем добрый день
У меня есть сайт, данные с которого я собираю.
Но дело в том, что мне нельзя к нему обращаться чаще чем 1 раз в секунду с одного ip и на одну авторизованную сессию.
Может кто-нибудь знает как инструментами скрапи сделать конкурентные запросы, но с ограничением по таймингу с привязкой к сессии и айпишнику?
У меня есть сайт, данные с которого я собираю.
Но дело в том, что мне нельзя к нему обращаться чаще чем 1 раз в секунду с одного ip и на одну авторизованную сессию.
Может кто-нибудь знает как инструментами скрапи сделать конкурентные запросы, но с ограничением по таймингу с привязкой к сессии и айпишнику?
К
Ребят, всем добрый день
У меня есть сайт, данные с которого я собираю.
Но дело в том, что мне нельзя к нему обращаться чаще чем 1 раз в секунду с одного ip и на одну авторизованную сессию.
Может кто-нибудь знает как инструментами скрапи сделать конкурентные запросы, но с ограничением по таймингу с привязкой к сессии и айпишнику?
У меня есть сайт, данные с которого я собираю.
Но дело в том, что мне нельзя к нему обращаться чаще чем 1 раз в секунду с одного ip и на одну авторизованную сессию.
Может кто-нибудь знает как инструментами скрапи сделать конкурентные запросы, но с ограничением по таймингу с привязкой к сессии и айпишнику?
В ротейтинг прокси вроде паузы на каждый айпи отдельно
J
Ребят, почему закрывают в магазинах апишку с параметрами гет, ну хотябы для парсинга постов для людей оставили бы
J
Ну елки палки, нужно регистрироваться как предприятия либо облодить как-то
J
Это не дибилизм?
J
Или я чего то не понимаю
A
Ну хз, может что б не парсили?)
J
Так а в чем проблема того что люди будут брать посты
J
Для сравнения цен и прочего
J
Типо нет, я понимаю там для работы с апи со своими товарами
J
Загрузка выгрузка
J
Прочее
A
Вопрос филисофии
J
Ну тут тоже верно просто я вот думаю, ИП у меня то своего ничего нет, зарегистрироваться не могу попробовать, что в таком случае делать, подзабить или искать обходные пути какие либо?
МС
Jack
Ребят, почему закрывают в магазинах апишку с параметрами гет, ну хотябы для парсинга постов для людей оставили бы
1. хотят много денег за доступ
2. не хотят что бы нищеброды растащили контент (не принимай близко к сердцу, это образно)
3. не хотят возится с нагрузкой на сервак
2. не хотят что бы нищеброды растащили контент (не принимай близко к сердцу, это образно)
3. не хотят возится с нагрузкой на сервак
J
Справедливо
J
А вот допустим я захожу на страницу, пускай спаршу html, загружает по 4 допустим элемента, как я могу загрузить сразу всю страницу?