если .  и _ кажутся одним и тем же, вопросы надо задавать не в чате по Airflow

И кстати у LAmberti отличные курсы

Проблема была во внутренней базе данных. Ее заново создали и все полетело.

Кто-нибудь сталкивался с такой ошибкой при одновременном запуске нескольких Hive операторов?
Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session (state=42000,code=40000)
Хайв у меня работает на Спарке (мастер Yarn), в настройках Спарка все по дефолту
Пробовал увеличивать сервер-клиент таймауты в hive-site.xml - не помогло
hive.spark.client.server.connect.timeout=900s
hive.spark.client.connect.timeout=900s
hive.spark.client.future.timeout=900s
В конфиге Ярна (yarn-site.xml) максимум мемори аллокейшн для контейнеров стоит 16 гигов (должно хватать)
yarn.scheduler.maximum-allocation-mb=16384

Может у кого-то появился опыт исползьования dagster? Судя по докам даже можно его подружить с airflow, хотя и не рекомендуется
https://docs.dagster.io/deploying/airflow

Ага, отрицательный. Функционала почти нет,  только построение дага

А Prefect пробовали?) Лучше airflow?

Всем привет
При попытке открытия веб-сайта получаю гриб с ошибкой:
Traceback (most recent call last):
  File "/home/user/miniconda3/lib/python3.8/site-packages/flask/app.py", line 1970, in finalize_request
    response = self.process_response(response)
  File "/home/user/miniconda3/lib/python3.8/site-packages/flask/app.py", line 2269, in process_response
    self.session_interface.save_session(self, ctx.session, response)
  File "/home/user/miniconda3/lib/python3.8/site-packages/flask/sessions.py", line 379, in save_session
    response.set_cookie(
  File "/home/user/miniconda3/lib/python3.8/site-packages/werkzeug/wrappers/base_response.py", line 468, in set_cookie
    dump_cookie(
  File "/home/user/miniconda3/lib/python3.8/site-packages/werkzeug/http.py", line 1217, in dump_cookie
    raise ValueError("SameSite must be 'Strict', 'Lax', or 'None'.")
ValueError: SameSite must be 'Strict', 'Lax', or 'None'.

Как это исправить?

Случайно обновил werkzeug, вернул обратно - заработало

Привет!

Можете подсказать, что такого тайного есть в on_failure_callback?

Я хочу, чтобы даг при падении писал мне и еще кому-нибудь на почту, написала функцию, которая вызывает email operator. Функция работает, если вызывать ее просто из питон оператора, а в on_failure_callback или on_success_callback - не хочет(

Там вроде должна быть функция, которая что-то делает, а не оператор

Да, я функцию и указываю... А если именно on_failure_callback не используется обычно, то как по-другому принято оповещать о падении?

email_on_failure можно

В дефолтных параметрах есть

email_on_failure': False,

Поменять на true и настроить в конфиге подключение к почтовому серверу

Это уведомления на уровне таска, а на уровне дага?

default_args передаётся на все таски, можно на каждый отдельно

Мб надо email hook?

У меня было вот это, то есть вызывался email operator