OS
Если вы о php, то у меня на рабочем проекте что бы держать 850 рабочих парсеров используется 4 сервера по 8 потоков ядер и 64 ГБ озу. В пиках парсинга сервера не справляются
Size: a a a
2020 December 18
S
и кстати, насчет протца. А сколько при 4к потоков тебе надо построить парсеров в памяти? от они совсем протц не нагружают, ага
Ну я лично запускал 1.5к максимум 2к на vps 30гб озу 8 ядер проц.
AR
и все сидели упёршись в прокси
AR
ой лол
AR
дальше без меня
AR
> Работа с прокси и в многопотоке(ориентировочно до 4к потоков).
МС
Запросов
какая скорость была на 1,5-2к потоков?
AR
поясняю: ты сразу зашёл с кривой формулировкой
AR
теперь ясно что у тебя самый обычный небольшой проект, и скрапи туда подойдёт без вопросов
AR
и никаких невероятных гигов памяти конечно не надо
МС
Ну отлично раз всем все понятно и все уже похихикали то теперь поясните нубу что к чему
ну и я свои 5 копеек вставлю.
относительно недавно парисил валдберрис, если без записи в базу, спокойно держало 6000 рпм (так сказать, идеал). С записью 4000 рпм. Это, максимуму 50 параллельных запросов.
за сутки, получается, спокойно можно сделать ~5,7млн запросов
относительно недавно парисил валдберрис, если без записи в базу, спокойно держало 6000 рпм (так сказать, идеал). С записью 4000 рпм. Это, максимуму 50 параллельных запросов.
за сутки, получается, спокойно можно сделать ~5,7млн запросов
МС
и это, никаких "4к потоков".
К
ну и я свои 5 копеек вставлю.
относительно недавно парисил валдберрис, если без записи в базу, спокойно держало 6000 рпм (так сказать, идеал). С записью 4000 рпм. Это, максимуму 50 параллельных запросов.
за сутки, получается, спокойно можно сделать ~5,7млн запросов
относительно недавно парисил валдберрис, если без записи в базу, спокойно держало 6000 рпм (так сказать, идеал). С записью 4000 рпм. Это, максимуму 50 параллельных запросов.
за сутки, получается, спокойно можно сделать ~5,7млн запросов
по нашей терминологии, у тебя вроде было 50 потоков
МС
по нашей терминологии, у тебя вроде было 50 потоков
ну ок, потоков