Size: a a a

2021 January 28

N

Nikita Blagodarnyy in Airflow
если полгода что-то согласуют-это повод задуматься.
источник

MY

Maxim Yastremsky in Airflow
Nikita Blagodarnyy
если полгода что-то согласуют-это повод задуматься.
Официально есть oracle dba. Нужно было по вертикали договориться, что они могут  не только oracle поддерживать
источник

P

Pavel in Airflow
Evgeniy Muravev
Всем привет! Помогите, пожалуйста, решить проблему . Для изучения инструмента ставим себе airflow 2.0 на ms sql server, в момент инициирования базы (db init) падает ошибка, что в таблице dag уже создана колонка с типом TIMESTAMP, поэтому остальные нужные колонки уже не создаются. Дело в том, что в ms sql действительно допускается только одна колонка с таким типом. Вопрос: можно ли изменить где-то в моделях тип данных для создаваемых колонок?
Пользуйте посгрю изолированную, если изучаете инструмент
источник

EM

Evgeniy Muravev in Airflow
Pavel
Пользуйте посгрю изолированную, если изучаете инструмент
Разворачивать так или иначе придется на инфраструктуре ms sql. Кстати, версия 1.10 под ms sql поднималась, не без страданий, но все-таки. Проблема только в airflow 2.0
источник

GB

Georgy Borodin in Airflow
Evgeniy Muravev
Разворачивать так или иначе придется на инфраструктуре ms sql. Кстати, версия 1.10 под ms sql поднималась, не без страданий, но все-таки. Проблема только в airflow 2.0
А в чем проблема метадб отдельной? Зачем её согласовывать даже? Ну будут там стейты тасок, коннекшны заэнкрипченные (и то необязательно)
источник

EM

Evgeniy Muravev in Airflow
Georgy Borodin
А в чем проблема метадб отдельной? Зачем её согласовывать даже? Ну будут там стейты тасок, коннекшны заэнкрипченные (и то необязательно)
Я не могу, к сожалению, на такой вопрос ответеть) Базу надо где-то держать, под нее контур безопасности свой нужен, опен-сорс сложно одобряется, airflow условно вынуженный инструмент просто. Поэтому согласовать придется закупку postgres pro или что-то подобное. А это уже непросто.
источник

GB

Georgy Borodin in Airflow
Evgeniy Muravev
Я не могу, к сожалению, на такой вопрос ответеть) Базу надо где-то держать, под нее контур безопасности свой нужен, опен-сорс сложно одобряется, airflow условно вынуженный инструмент просто. Поэтому согласовать придется закупку postgres pro или что-то подобное. А это уже непросто.
Понимаю, что вопрос риторический, но если согласуны не хотят вам просто жизнь испортить, то я предложил хорошие аргументы для них.
МетаДБ airflow нужна только для функционирования самого эирфлоу, какие-то бизнес-данные в неё не попадут
источник

DN

Dmitriy Novikov in Airflow
Georgy Borodin
Понимаю, что вопрос риторический, но если согласуны не хотят вам просто жизнь испортить, то я предложил хорошие аргументы для них.
МетаДБ airflow нужна только для функционирования самого эирфлоу, какие-то бизнес-данные в неё не попадут
парлли например?
источник

VS

Vladislav 👻 Shishkov... in Airflow
Если все так строго, советую идти в SSIS
источник

GB

Georgy Borodin in Airflow
Dmitriy Novikov
парлли например?
Ну так они encrypted
источник

VS

Vladislav 👻 Shishkov... in Airflow
Причем сразу
источник

DN

Dmitriy Novikov in Airflow
Georgy Borodin
Ну так они encrypted
ну как сделать :) тем не менее
источник

VS

Vladislav 👻 Shishkov... in Airflow
Иначе потом будете еще по пол года ждать согласование на установку либ
источник

GB

Georgy Borodin in Airflow
Evgeniy Muravev
Я не могу, к сожалению, на такой вопрос ответеть) Базу надо где-то держать, под нее контур безопасности свой нужен, опен-сорс сложно одобряется, airflow условно вынуженный инструмент просто. Поэтому согласовать придется закупку postgres pro или что-то подобное. А это уже непросто.
Кстати стало очень интересно: а как вообще планируете разворачивать эирфлоу и какого рода задачи решать?
источник

P

Pavel in Airflow
Evgeniy Muravev
Я не могу, к сожалению, на такой вопрос ответеть) Базу надо где-то держать, под нее контур безопасности свой нужен, опен-сорс сложно одобряется, airflow условно вынуженный инструмент просто. Поэтому согласовать придется закупку postgres pro или что-то подобное. А это уже непросто.
О, так предложите информатику тогда использовать))) вам должны с радостью выделить лямов 10, за 5 я готов вам развернуть airflow 1.10.10, вы себе оставшиеся 5, ну, а своим скажете что все работает, ETL етиэлится. PROFIT!👍
источник

DN

Dmitriy Novikov in Airflow
за 2 сделаю!!
источник

EM

Evgeniy Muravev in Airflow
Pavel
О, так предложите информатику тогда использовать))) вам должны с радостью выделить лямов 10, за 5 я готов вам развернуть airflow 1.10.10, вы себе оставшиеся 5, ну, а своим скажете что все работает, ETL етиэлится. PROFIT!👍
Мы и так на информатике) airflow 1.10.10 мы и сами поднять смогли, за 5 лямов я лучше 2.0 перепишу под mssql
источник

EM

Evgeniy Muravev in Airflow
Georgy Borodin
Кстати стало очень интересно: а как вообще планируете разворачивать эирфлоу и какого рода задачи решать?
Оркестрация процессов там, где информатика не справляется
источник

GB

Georgy Borodin in Airflow
Evgeniy Muravev
Оркестрация процессов там, где информатика не справляется
А Executor? Celery?
источник

EM

Evgeniy Muravev in Airflow
В перспективе, наверное. Но хотя бы вообще все поднять с дефолтовым
источник