PA
спасибо большое
Size: a a a
2021 April 27
2021 April 28
МТ
Привет! Я новичек в data-engineering, год пишу на python, 5 лет на js и php. Хочу войти в курс дела по airflow. Написал простой скрипт загрузки данных на питоне из одной массивной бд в новую. Упёрся в распараллеливание подключений. Подскажите, пожалуйста, ресурсы с примерами запуска etl скриптов на airflow
AA
Можно сказать, что для тестирования sequential, а с локал всё нормально.
Секта Свидетелей Сельдерея прям)
Секта Свидетелей Сельдерея прям)
VS
Все нормально в один поток? Смешно...
VS
К слову, со второй версии сами разрабы пишут, что не используйте локал
AA
В один поток работает секвеншиал, локал нормально работает.
VS
Ну да, если ты не используешь sqlite
AA
Так если экзекьютор не причём - не путайте людей
VS
Он все еще причем, локал нельзя масштабировать и как я выше заметил, разрабы сами его уже не рекомендуют использовать, там слишком много проблем. Поэтому не надо путать вам как раз
AA
Масштабировать нужно не всем, а про вторую версию в изначальном сообщении не было написано. Судя по опросу, большинство не торопится обновляться
VS
В опросе не было ни слова про "торопыг", в опросе был вопрос про уже обновился и понятно, что нормальные люди прод быстро не перетянут на новую версию
VS
А насчет не всем масштабирование, тут больше 50% в чате сидят таких, поднимают где хотят и как хотят, а потом приходят и ноют, что тут не то, то там...
AA
Я вообще о другом, ну ладно)
VS
Про рекомендацию не использовать локал? Погугли
AA
Если хочется помочь - надо объяснить, без ошибок никто не учится.
VS
Уже выше и объяснили, не пользоваться локал
AA
Ну как сказать объяснили) Не объясняли)
В общем, мне холивар начинать не хочется, просто скажу своё мнение - LocalExecutor можно использовать в проде на версии до 2-й, про вторую не знаю
В общем, мне холивар начинать не хочется, просто скажу своё мнение - LocalExecutor можно использовать в проде на версии до 2-й, про вторую не знаю