M
Size: a a a
2020 August 05
BB
ну как она может быть общая, если таски выполняются в разных процессах, либо вообще на разных компьютерах
Я вас понял. Ошибка была в том, что изначально предполагалось при использовании параметров concurency в 1 и max_active run все это будет происходить вместе . А тут выходит для шедулера каждый таск отдельная задача .
BB
да, всё так
выхода может быть два:
- объединить таски в одну — тогда память точно будет общая
- писать промежуточный результат куда-то наружу
выхода может быть два:
- объединить таски в одну — тогда память точно будет общая
- писать промежуточный результат куда-то наружу
Сначало было как раз первый вариант, но кода было одного и того же очень много. Плюс на карте не все наглядно . Хотелось бы разбить на мелкие подзадачки , которые генерировать динамически .
ME
обычно табличные данные пишут в БД, либо в файл на S3, либо на диск, если всё на одной машине
Какой-то map-reduce пооучается)
ME
Сделали операцию, скинули на диск)
L
Я хотела переопределять только схемы и таблицы)
Ну, то есть это по сути универсальный даг, если в него подставить нужные параметры, потому что все выглядит как:
Удали это
Добавь это
Теперь переложи это
И вот эти "это" хочется переопределять
Например, подкладывать ссылки на разные фалы с параметрами
Ну, то есть это по сути универсальный даг, если в него подставить нужные параметры, потому что все выглядит как:
Удали это
Добавь это
Теперь переложи это
И вот эти "это" хочется переопределять
Например, подкладывать ссылки на разные фалы с параметрами
Что вы описываете это не параметры дага, а очень похоже на Operator. Напишите свой оператор с нужными параметрами.
2020 August 06
A
Всем привет
Настраиваю connection к Presto, с SSL.
Параметры SSL прописал через Extra
{
"SSLTrustStorePath": "/usr/local/airflow/ks/key.jks",
"SSLTrustStorePassword": "pwd_",
"SSL": true
}
При проверке через Ad Hoc Query получаю cannot use authentication with HTTP
Подскажите, пожалуйста, что делаю не так?
Спасибо
Настраиваю connection к Presto, с SSL.
Параметры SSL прописал через Extra
{
"SSLTrustStorePath": "/usr/local/airflow/ks/key.jks",
"SSLTrustStorePassword": "pwd_",
"SSL": true
}
При проверке через Ad Hoc Query получаю cannot use authentication with HTTP
Подскажите, пожалуйста, что делаю не так?
Спасибо
ME
Подскажите, есть даги, который запускаются ежемесячно, "start_date": datetime(2020, 1, 1),
Так последний прогон у них почему-то за 7 месяц только был, а за август никак не хотят запускаться, хотя 1 августа уже прошло. Рядом есть ежедневные, они норм отрабаотали
Так последний прогон у них почему-то за 7 месяц только был, а за август никак не хотят запускаться, хотя 1 августа уже прошло. Рядом есть ежедневные, они норм отрабаотали
ME
Первые два - ежемесячные, ниже - ежедневный
YV
Нажми на Даг от 2020-07-01 зайди в любую выполненную таску и посмотри у неё старт тайм, когда она запускалась
YV
YV
Как видишь ежедневный у тебя last_run тоже не сегодняшнее число, почему это так - в доке аирфлоу (см скрин выше). Дата которая в ласт ран и в поле execution_date это та дата за которую ты процессишь данные, а не когда запускается даг. Те 6го ты процессишь данные за 5ое, если даг ежедневный, а в августе - за июль, если даг месячный, только в случае если даг запускается руками - там будет дата запуска реальная
ME
Нажми на Даг от 2020-07-01 зайди в любую выполненную таску и посмотри у неё старт тайм, когда она запускалась
start_date 2020-08-05
ME
Вчера у меня он догнал прошлые даты...
ME
Т.е. он тупо с месячным лагом будет запускаться?