Size: a a a

2018 May 03

МС

Максим Сёмочкин in Airflow
> Airflow is not a data streaming solution. Tasks do not move data from one to the other (though tasks can exchange metadata!).
источник

МС

Максим Сёмочкин in Airflow
Вот прямо на самой первой странице документации :)
источник

EM

Eugene Maruschenko in Airflow
Когда ты профессионально владеешь молотком (SSIS), то в любом инструменте видишь только молоток и сравниваешь его только по способности забивать гвозди)
источник

МС

Максим Сёмочкин in Airflow
Eugene Maruschenko
Когда ты профессионально владеешь молотком (SSIS), то в любом инструменте видишь только молоток и сравниваешь его только по способности забивать гвозди)
Ну я не знаю, что такое SSIS. Просто подчёркиваю, что вы пытаетесь сравнить распределённый планировщик с ETL тулом. И они как бы про разное. Один не заменяет другой.
источник

EM

Eugene Maruschenko in Airflow
SSIS это Pentaho DI от Microsoft. Я понимаю абсурдность сравнения, из-за этого у меня даже нет в голове аргументов что лучше
источник

EM

Eugene Maruschenko in Airflow
Мне больше нужно было убедиться, что я не странный и вижу различия в решениях правильно)
источник

VS

Vladislav 👻 Shishkov in Airflow
Eugene Maruschenko
Не всегда есть возможность этого человека найти и тем более обосновать позицию для него. Особенно когда ты не в ДС.
Это уже проблемы компании
источник

VS

Vladislav 👻 Shishkov in Airflow
И насчет пентахи, она хоть и лучше, чем ssis, но все таки тоже не идеальна и многое зависит от задач
источник

VS

Vladislav 👻 Shishkov in Airflow
Хотя из халявных ETL, имхо, самая лучшая. Джобы легковесные и в xml, легко версионировать и генерить.
источник

МС

Максим Сёмочкин in Airflow
Как раз с версионированием там проблемы
источник

МС

Максим Сёмочкин in Airflow
XML но сгенереный же. Что там этот редактор поменял ХЗ. В итоге я например своими глазами видел не правильные мерджи джобов
источник

МС

Максим Сёмочкин in Airflow
Часть от нового часть от старого
источник

VS

Vladislav 👻 Shishkov in Airflow
Максим Сёмочкин
XML но сгенереный же. Что там этот редактор поменял ХЗ. В итоге я например своими глазами видел не правильные мерджи джобов
Разные версии клиентов?
источник

VS

Vladislav 👻 Shishkov in Airflow
При этом, иногда даже клиент не нужен, поменял руками в саблайм и все
источник

МС

Максим Сёмочкин in Airflow
Нет, один и тот же. Но это же кодогенерация по сути. Два разработчика правят один джоб в клиенте, и потом я видел кашу при мерждже
источник

МС

Максим Сёмочкин in Airflow
Сейчас тупо эти файлы помечены как бинарные в гите
источник

VS

Vladislav 👻 Shishkov in Airflow
Что-то вы не правильно делаете
источник

МС

Максим Сёмочкин in Airflow
Я вообще не этим занимаюсь в компании. просто помогал ребятам которые огребли эти проблемы
источник

VS

Vladislav 👻 Shishkov in Airflow
Может меняться последовательность блоков, и то в зависимости от изменений
источник
2018 May 08

A

Alexander in Airflow
коллеги, есть вопрос. Пытаюсь использовать xcom  вместе с pythonOperator. Согласно документации, функцию для этого оператора нужно задавать так: def puller(**kwargs):
   result = kwargs['ti'].xcom_pull(key='return_value', task_ids='abc'). Вопрос такой: если мне в эту функцию необходимо передать ещё какие-то параметры, то как правильно всё сделать? Если просто дописать параметр: def puller(parametr, **kwargs):... то даг сразу ломается, так как не получается вернуть значение kwargs['ti'].
источник