dp
Airflow – не для потоковой обработки данных, между тасками должно быть промежуточное хранилище
типо мне нужно смотреть в сторону NIFI?
Size: a a a
2021 February 24
VS
столько соощений, но почему-то решили цитировать самое неверное 🤔
dp
я не могу делать в рамках одного таска, может что то не понимаю. вот кейс, я делаю запросы к soap батчами, ответ надо ждать 15 минут, за 15 минут в теории может случится всё что угодно, интернет упасть , вернуть ошибку . Результат батча после обработать.
dp
в теории у меня одновременно может быть штук 15-20 таких запросов к Soap которые ждут ответа , и я пока посмотрев несколько туториалов не уверен как правильно положить задачу в концепт эирфлоу
MZ
Народ если самому на Python писать ETL там буквально к двум источникам, это долго и какие библиотеки использовать?
VS
я не могу делать в рамках одного таска, может что то не понимаю. вот кейс, я делаю запросы к soap батчами, ответ надо ждать 15 минут, за 15 минут в теории может случится всё что угодно, интернет упасть , вернуть ошибку . Результат батча после обработать.
Сохраняйте
VS
Народ если самому на Python писать ETL там буквально к двум источникам, это долго и какие библиотеки использовать?
Берете либу для подключения источнике, берете какой-нибудь пандас, берете либу для подключения к таргету
SG
Народ, тут вроде раньше был разговор о том, что использовать KubeOperator неок. Подскажите, что более подходящее?
MZ
Берете либу для подключения источнике, берете какой-нибудь пандас, берете либу для подключения к таргету
Какая либа для подключения к источнику и к таргету. А хранилище как создавать?
GB
Какая либа для подключения к источнику и к таргету. А хранилище как создавать?
Какие источники – такие и либы, какие данные – такое и хранилище, тут же не чат битвы экстрасенсов)
VS
Какая либа для подключения к источнику и к таргету. А хранилище как создавать?
По проектированию хранилищ есть уйма книжек, гугл или яндекс их точно найдет, Кимбалл и Инмон ключевые фразы.
И по своему опыту отвечу, что каждое хранилище уникально, каждый лепит как может/хочет/будет и очень многое зависит от инструментов
И по своему опыту отвечу, что каждое хранилище уникально, каждый лепит как может/хочет/будет и очень многое зависит от инструментов
2021 February 25
z
Народ, тут вроде раньше был разговор о том, что использовать KubeOperator неок. Подскажите, что более подходящее?
А почему не ок, можно уточнить?
SG
А почему не ок, можно уточнить?
Да я не помню, но здесь в чате неоднократно мелькали фырканья на эту тему
DK
Доброе утро. Подскажите как удалить/почистить старые удаленные даги
Из общего списка
Из общего списка
DK
AA
Доброе утро. Подскажите как удалить/почистить старые удаленные даги
Из общего списка
Из общего списка
Там кнопочка с красным крестиком есть)
DK
Не получается : DAG with not found. Cannot delete
DK
Вроде надо чистить где-то в логах
VS
Сначало надо было удалить в вебке, а потом только файлы. Сейчас уже надо чистить в базе
GB
Не получается : DAG with not found. Cannot delete
https://github.com/teamclairvoyant/airflow-maintenance-dags/tree/master/clear-missing-dags имеет смысл попробовать
UPD: первая ссылочка вела не туда, я заменил
UPD: первая ссылочка вела не туда, я заменил
