R#
На их объемах тысяча трафа капля в море
Size: a a a
2021 January 29
T
На их объемах тысяча трафа капля в море
ну да, только мне не тысячу надо, а в районе 4 лямов
T
На их объемах тысяча трафа капля в море
хотя это тоже думаю капля в море
R#
Не капля, но 4 ляма это просто долго
R#
И от скорости зависит
T
Не капля, но 4 ляма это просто долго
благо есть многопоточность и прокси
R#
Бд то не треснет?
T
Бд то не треснет?
я сегодня тож спрашивал, говорят вк 20 лямов за 5 мин крутит и норм )
R#
Ну там серваки поди получше
T
Ну там серваки поди получше
наверняка, но мне раз в месяц, а не в 5 мин и не 20 а 5лямчиков всего то)
R#
Tim
наверняка, но мне раз в месяц, а не в 5 мин и не 20 а 5лямчиков всего то)
Это 1 страница в 2 секунды
T
Это 1 страница в 2 секунды
Ну имеется в виду обновлять дату раз в месяц, не хотелось бы чтоб она собиралась весь месяц ))
T
Это 1 страница в 2 секунды
Хочу добиться чтоб хотяб за сутки собиралась
R#
Подели 5 лямов, на количество секунд в месяце
P
Подели 5 лямов, на количество секунд в месяце
суровый
КЭ
ему пару месяцев понадобится)
КЭ
если в 1 потоке
R#
1 страницу за 2 секунды надо получать, если в 1 поток
AH
Tim
так не за 1 раз зато, или я чето не понимаю? он у меня делает 1 запрос, потом по этим данным работает, потом делей стоит чтоб следующий запрос взял
Отчасти верно понимаешь. Выполняет запрос, затем работает по этим данным, потом выполняет следующий запрос.
Нюанс в том, что результат каждого запроса будет содержать всего одну запись. Вот и получается, что на 5 млн записей будет отправлено 5 млн запросов.
С таким объемом оптимально делать
Нюанс в том, что результат каждого запроса будет содержать всего одну запись. Вот и получается, что на 5 млн записей будет отправлено 5 млн запросов.
С таким объемом оптимально делать
chunk(10000.