AR
но я не настаиваю, делай как удобнее и быстрее
Size: a a a
2020 December 18
AR
всё зависит от требуемой скорости
AR
и от того, смогут ли прокси и сайты эту скорость дать при прочих идеальных условиях, или всё-таки не стоит париться
МС
Ну вот я у сообщества и интересуюсь. Есть подобное решение на php. Насколько питон и в частности scrapy могут быть лучше в этом плане. В php все упирается в память и прокси
на ПХП 4к потоков? 🤔
AR
тоже интересно
S
на ПХП 4к потоков? 🤔
Угу
МС
и вообще, 4к потоков, это, как минимум 400к прокси...
AR
а ядер там тоже 4к?
МС
а ядер там тоже 4к?
🙈
а может там квантовый комп?
а может там квантовый комп?
S
и вообще, 4к потоков, это, как минимум 400к прокси...
1 к 5 4к потоков 20к прокси. До 1кк результатов в сутки если прокси более менее живые. Процессор особой роли не играет. Ну не дно чтоб конечно.
AR
700 рпм
AR
и стоило ли огород городить
OS
Товарищи, а кто что может рассказать про scrapyd в докере и запуска майнинг процессов?? У меня на проде scrapyd в докере крутится, и если оставить порт торчать наружу - запустятся майнинг процессы
AR
ну это глупо давать всем доступ наружу без аутентификации, да
AR
но от прошлых таких страдальцев я слышал что достаточно включить аутентификацию и всё
МС
700 рпм
таки да, это же скрапи с дефолтными настройками и по 3000-6000 выдает на некоторых сайтах