немного мимо, там клиент рендеринг
так что так легко не получится)
посмотри phantom.js, pupeteer и тд

casper.js? Что можете сказать?

Самое главное - нужно настроить  ignore_user_abord - в этом случае AJAX будет запускать поток, обрывать загрузку - но джаваскрипт  все равно будет работать, несмотря на то, что браузер уже оборвал загрузку.🧐

насколько знаю каспер обертка над phantom
мне pupeteer больше нравится))
я все равно меньше чем за 2к не взялся бы

Скажите а что можете порекомендовать  Настройки node.js сервера, а именно  информация о добавлении дополнительных ресурсов серверу при парсинге на локальном компьютере?

Многопоточные запросы CURL?Реально ли их реализовать в ноде, есть какие то готовые и проверенные решения?🧐

Я просто сам на расте пишу нода у меня как второй язык идет

А почему сразу Selenium не взять?

ну как по мне его сложнее поднять и крутить

На джаве в универе юзал, чё то не зашло, а там есть реальные фишки классные?шё то новое появилось. Я использовал для тестирования приложения.🤷‍♂️

Возможно на ноде и сложно 🤷‍♂️ Я на шарпах это дело запускал. Для разных киного))) Дёргал у них линки на видосики

Почему?Например для эффективной реализации серверного рендеринга можно  найти какое нибудь решение для кеширования компонентов, оптимизировать потребления памяти, применить мемоизацию наконец.🤓

Вы наверное имели ввиду, что то типа прогу запускающую браузер и эмитирующую клацание кнопкой мыши по элементам сайта. 😀

Ну да. Я парсив або сам документ або працюючий сайт зі всіма скриптами через селеніумДрайвер для Хрома

https://www.scraperapi.com/

Есть ещё такая штука, позволяет не заморачиваться с поиском исправных и адекватных проксей

Node сама по себе проверенное решение для многопоточного CURL
Promise.all(массив запросов). А если для вас принципиальна разница в скорости(я не уверен что она большая), то лучше таки на Rust

Также как и в Rust, в NodeJS используется event-loop, но, в отличии от Rust, в NodeJS он однопоточный. Этот однопоточный event-loop, в зависимости от мощности процессора, может удерживать от десятков до сотен тысяч параллельных соединений. По этому вы должны для себя решить, является-ли для вашего приложения это узким местом, или нет. Если да - способы утилизировать под обработку веб соединений в NodeJS много потоков тоже есть, но их нужно использовать явно, и вариантов это сделать уже не один и зависит от того нужна-ли вам общая память (если нет - смотрите worker_threads и child_process или запуск нескольких инстансов приложения через pm2 или nodemon), что именно нужно шарить (worker_threads + SharedArrayBuffer) ну и вообще в том направлении копать - есть еще варианты, но этого вам должно хватить. Имейте только ввиду наперед что шарить обычные объекты (массивы, функции итд.) между потоками не получится никак

В вопросе парсинга жесткий диск вопрос многопоточности уже решен в рашу пользу: NodeJS для работы с жестким диском неявно использует ThreadPool, так что мультипоточный пирсинг будет работать сам собою. Если работа с файловой системой планируется очень интенсивная - можете только подкорректировать размер ThreadPool под количество ядер (на остальную часть ноды минимум 2 ядра обязательно оставьте)

Теперь что касается динамического добавления ресурсов веб-серверу. Вам тут подойдет любой из популярных фреймворков: Express, Koa, Fastify итд., у кого явно есть роуты. Вам просто нужно будет написать код который будет динамически их добавлять на объект сервера по мере парсинга - это что-то что легко работает уже из коробки

​​Мабуть ви вже чули, що ми готуємо крутий івент про Vue.js. 😎
Та сьогодні запускаємо  продаж квитків на подію, тож ловіть деталі нижче👇

Про подію💻
Vue.js fwdays'20  —  онлайн-конференція з фокусом на Vue.js для розробників, які використовують фреймворк Vue.js у своїх проєктах.

Коли⏰
На вас чекає один день з доповідями (28 листопада) та два будніх вечори з додатковими, не менш практичними, форматами.

Конференція справді безкоштовна?🔥
Так, для всіх подія  безкоштовна, та для участі у додаткових форматах, Q&A зі спікерами та доступу до приватного чату учасників — обирайте пакети учасників.

Кількість квитків обмежена, а вартість участі починається всього від 250 грн 🤩
Тож реєструйтеся безкоштовно або ж придбайте квиток нижче.

P.S. вже відомі імена перших спікерів, але про це розкажемо вам згодом😏

​​28 листопада вперше в Україні відбудеться онлайн-конференція  ─ Vue.js fwdays’20.

Та кожен із вас може взяти участь у конференції у якості спікера🤩
Якщо у тебе є досвід роботи з Vue.js, бажання прокачати свій speaking skill та поділитися знаннями з іншими на запропоновані теми:
💎Composition API
💎Vue 2.6 to Vue 3 migration
💎Vue 3 Approaches
Component Libraries (Vuetify, Bootstrap-vue)
💎Vue Testing
💎Vue.js ecosystem
💎Vue.js3 with TypeScript або інше.

Заповнюй форму Call for papers до 14 жовтня включно або пересилай це повідомлення тому, кому це буде цікаво😏

Давай розвивати Vue.js community України разом!

А якщо бажаєш насолодитися контентом за чашкою кави як учасник, тоді переходь на сайт та обирай пакет квитка, який тобі до вподоби😉

Ох, опять взломали твиттер Илона

А нет, обычный фш