А
аа ну или так. я не знаю как в Украине с этим. а то признают кибератакой и заедут ))
Size: a a a
2020 October 05
AB
не пойму что в скрапинге противозаконоее
ты по сути собираешь публичные данные
ты по сути собираешь публичные данные
А
а вообще api с квотами делает жизнь проще обеим сторонам)
AB
тоже самое что нанять человека который будет переписывать данные из сайта в табличку специальную
только раз в 10тысяч быстрее))
только раз в 10тысяч быстрее))
ES
А
не пойму что в скрапинге противозаконоее
ты по сути собираешь публичные данные
ты по сути собираешь публичные данные
смотря как скрапить. Можно ведь и задудосить)
AB
смотря как скрапить. Можно ведь и задудосить)
если скрапер может заддосить сайт
значит с сайтом что-то не так))
значит с сайтом что-то не так))
ES
я думал что парсер розетки задача тревиальная в сети таких полно...
ES
не пойму что в скрапинге противозаконоее
ты по сути собираешь публичные данные
ты по сути собираешь публичные данные
Если это вызывает повышенную нагрузку на сервера то ты жжешь их деньги скрапингом (если у них оплата за cpu/hours)
ES
вот нашел на гите валялось, но он 7 летней выдержки не свежий.https://github.com/EmtyWeb/Parser-Rozetka.com.ua
AL
Evg Sevg
я думал что парсер розетки задача тревиальная в сети таких полно...
парсить розетку это очень не благодарное дело
эти хитрожопые ребята тебе будуть давать цену не настоящую)
эти хитрожопые ребята тебе будуть давать цену не настоящую)
VK
Были прецеденты? Очень любопытно
AB
Anton Lytvyniuk
парсить розетку это очень не благодарное дело
эти хитрожопые ребята тебе будуть давать цену не настоящую)
эти хитрожопые ребята тебе будуть давать цену не настоящую)
Хахаха если это так и есть.
То это просто гениально:)
Респект за такое решение:)
То это просто гениально:)
Респект за такое решение:)
AL
Были прецеденты? Очень любопытно
писал скрапер по разным платформам и заметил такую вещь)
+ проконсультировался с ребятами которые работают в ритейле и руками собирают цены, у них та же фигня
самая настоящая цена это когды ты заходишь со своего реального аккаунта где совершаешь покупки
иначе игра в лотерею (особенно если прокси с заграничных ип)
+ проконсультировался с ребятами которые работают в ритейле и руками собирают цены, у них та же фигня
самая настоящая цена это когды ты заходишь со своего реального аккаунта где совершаешь покупки
иначе игра в лотерею (особенно если прокси с заграничных ип)
ES
Anton Lytvyniuk
парсить розетку это очень не благодарное дело
эти хитрожопые ребята тебе будуть давать цену не настоящую)
эти хитрожопые ребята тебе будуть давать цену не настоящую)
цена вопроса?🤷♂️🧐🤓
AL
Evg Sevg
цена вопроса?🤷♂️🧐🤓
смотря каким методом ты хочешь парсить страничку,
если по верстке то будь готов что она может меняться и это надо будет поддерживать
по цене не подскажу, я же не знаю тз)))
если по верстке то будь готов что она может меняться и это надо будет поддерживать
по цене не подскажу, я же не знаю тз)))
ES
Anton Lytvyniuk
смотря каким методом ты хочешь парсить страничку,
если по верстке то будь готов что она может меняться и это надо будет поддерживать
по цене не подскажу, я же не знаю тз)))
если по верстке то будь готов что она может меняться и это надо будет поддерживать
по цене не подскажу, я же не знаю тз)))
еще точно не знаю, хочу реализовать многопоточность , шё то типа такого:let count = 50;
let url = 'http://paser.js';
for (var i = 1; i <= count; i++) {
var queryUrl = url + '?num='+i;
$.ajax({
url: queryUrl,
timeout: 1000*i, //задержка обязательна
});
}
let url = 'http://paser.js';
for (var i = 1; i <= count; i++) {
var queryUrl = url + '?num='+i;
$.ajax({
url: queryUrl,
timeout: 1000*i, //задержка обязательна
});
}
ES
ES
Открываем n- потоков с помощью AJAX. Будем каждый поток запускать с таймаутом так, чтобы каждый поток запускался на секунду позже предыдущего - в этом случае мы обойдем ограничение на открытие 5-10 страниц в браузере/первый поток имеет задержку timeout: 1000 милисекунд - одну секунду. Если страница не ответит за это время (а она не ответит, так как парсинг длится дольше), то загрузка оборвется. Второй поток имеет задержку timeout: 1000*2 = 2000 - 2 секунды. Ну и так далее.