Но это очень валидный поинт

https://www.business-science.io//business/2019/07/22/how-i-started-my-data-science-business.html

#мотивирующий_пост

Понравилась фраза из статьи "Я начал с Python. Это был хороший язык, но для меня что-то было не так.." тоже такие мысли посещают...

Собственно именно так и происходит. Однажды просто надоедает сводить данные в Excel=)

А потом для учёта домашних расходов подключаешься к API банка при помощи R=)

Если у тебя один процесс, то переживать не о чем, а если у тебя кластер, то каждый новый процесс это +100-200 мб по памяти в контейнере и помножив на соответствующее число нод получается уже довольно много. Это всё доп. расходы на железо или аренду.

Я знаю, но аналитики обычно это не считают. Ну хотя бы уж пока сами с расходами не столкнутся.

Там было "it's felt like coding, but not exploring ". То есть когда необходимо анализировать, а не кодить, то выбор пал на R

Вотвотвот, такое же ощущение, именно данными рулю а не кодингом занимаюсь

Ну там было "it was a good language, but for me sometimes was a bit off..."

Да. А следующее - про кодинг

Я реально не понимаю людей, которые считают анализ данных в R программированием и программирование в Python анализом данных.

но они же не круглые сутки безостановочно должны вертеться? М.б. можно их как-то оркестрировать и, допустим, запускать по очереди

Всем привет!



Задача : нужно собирать каждый час информацию с рекламных кабинетов ВК (и по рекламным компаниям и по объявлениям) и так каждый день без выходных

Проблема: если в день было 80+  активных кабинетов - то грузит больше часа и упирается в лимиты вк(даже с Sys.sleep)

Собрала токены людей которые работают на аккаунте и решила параллельно грузить с каждого аккаунта кабинеты

Использую библиотеку doParallel, но есть вопрос

Допустим на одном аккаунте всего ~ 500 кабинетов(админский), но активных в этот день было 70, можно ли передать в функцию список с кабинетов которые нужно загрузить и главное, как сделать так чтобы эти кабинеты грузились с разных токенов

Подскажите пожалуйста, может на источники еще какие-то направьте)

А каждый час не слишком часто?)

Настраиваю аналитику для рекламного агентства, актуальность данных важна

Каждый час идет выгрузка с ВК + сенлер/ям и передача этого всего в отчёты

Просто на масштабе эта система начинает ломаться

А справочник с "id кабинета" и "токен" не поможет решить?

А вообще я бы @AlexeySeleznev задал вопрос=)

Я просто видела ваш вариант такой оптимизации но там использовались только переменные логинов, а тут нужно еще и кабинеты задать(а потом и РК и объявления)