Ну и скорость всё равно в скорость сервера упирается

не считая того что пичарм захавает 1гиг оперативки разницы нет)

Ето запущено два пайчарма, 50 елементов в минуту скрепит

Запустил из wsl 170+

Чо к чему

Дескрипторы, это файловые дескрипторы?

Ещё и экран фоткать 🤦‍♂

Делать скриншот, кидать на почту, качать и кидать в телеграм?

🤷‍♂

puppeteer will not help you with captchas, but you can use selenium and pyppeteer with scrapy also, why not

of course, without scrapy build-in requests but other architecture will still

Yes. It won't help with captcha. It'll make the button clicking etc easier I guess.

The idea is too get more control over what's going on when there's captcha involved.
Currently crawlers are XHR/Spalsh based.

for example this integration with selenium  for some cases is good enough https://github.com/clemfromspace/scrapy-selenium

👌 thanks sir. I'll check it out. 😄

На скорость память не влияет, но вот опытным путем пришел что памяти много не бывает, особенно тем кто работают с данными, щас что не приложение то дохера памяти надо, помнится мне что сраный Скайп брал по 300мб, щас на смену ему в пришел тимс, та же херня, по 500-700мб жрет , пайчарму тоже дофига памяти надо, у самого по 2-3 инстанса работают, 16гб уже маловато как то

как-то не интересовался, но вообще,  не мешает в pycharm посмотреть на параметры памяти, проверить, что они у тебя на запуске не превышаются  и выдать ему побольше оперативки, потому-что там начальные значения древние и учитывают многие слабые системы или с небольшой памятью,  во вкладке help там Change Memory Settings и более подробно edit custom vm options, индикатор памяти включается через пкм на статус баре. https://www.jetbrains.com/help/idea/increasing-memory-heap.html
https://www.jetbrains.com/help/pycharm/tuning-the-ide.html#configure-platform-properties

поставь себе какой-нибудь greenshot или sharex, а в винде 10 вообще есть инструмент ножницы

Но ведь скрапи это отдельный процесс