Size: a a a

2020 July 06

VS

Vladislav 👻 Shishkov... in Airflow
Все правильно, потому что первое включение генерирует базовый файл
источник

ДН

Дмитрий Негреев... in Airflow
подскажите плиз, как работает scheduler_heartbeat_sec?
в интернетах начитался что для прода лучше уменьшать его, чтоб шедулер меньше нагружен был
а на что это повлияет - не понятно
источник

ДН

Дмитрий Негреев... in Airflow
я правильно понимаю что шедулер вместо 5 секунд дефолтных начнет реже опрашивать необходимость следующие задачки запускать?
например у меня таска из дага выполнилась, а следующая может начать только через минуту (если я например с 5 на 60 секунд параметр изменю)
источник

N

Nik in Airflow
привет
не подскажите

Traceback (most recent call last):
 File "/usr/local/bin/airflow", line 25, in <module>
   from airflow.configuration import conf
 File "/usr/local/lib/python3.6/dist-packages/airflow/__init__.py", line 97, in <module>
   operators._integrate_plugins()
 File "/usr/local/lib/python3.6/dist-packages/airflow/operators/__init__.py", line 104, in _integrate_plugins
   from airflow.plugins_manager import operators_modules, register_inbuilt_operator_links
 File "/usr/local/lib/python3.6/dist-packages/airflow/plugins_manager.py", line 194, in <module>
   plugins
 File "/usr/local/lib/python3.6/dist-packages/airflow/plugins_manager.py", line 104, in load_entrypoint_plugins
   plugin_obj = entry_point.load()
 File "/home/ubuntu/.local/lib/python3.6/site-packages/pkg_resources/__init__.py", line 2460, in load
   self.require(*args, **kwargs)
 File "/home/ubuntu/.local/lib/python3.6/site-packages/pkg_resources/__init__.py", line 2483, in require
   items = working_set.resolve(reqs, env, installer, extras=self.extras)
 File "/home/ubuntu/.local/lib/python3.6/site-packages/pkg_resources/__init__.py", line 791, in resolve
   raise VersionConflict(dist, req).with_context(dependent_req)
pkg_resources.ContextualVersionConflict: (tzlocal 2.1 (/home/ubuntu/.local/lib/python3.6/site-packages), Requirement.parse('tzlocal<2.0.0,>=1.4'), {'apache-airflow'})



подозреваю что из-за конфликта версий питона
источник

S

S in Airflow
Написано же проблема с версией tzlocal 2.1
источник
2020 July 07

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник

N

Nik in Airflow
S
Написано же проблема с версией tzlocal 2.1
а как ее решить? переустановить или как
источник

ME

Max Efremov in Airflow
Nik
а как ее решить? переустановить или как
Поставить требуемую версию
источник

ME

Max Efremov in Airflow
Там написано, надо выше или равно 1.4 и ниже 2.0
источник

N

Nik in Airflow
cпасибо помогло
источник

BK

Boris Klyus in Airflow
Добрый день!
Кто нибудь сталкивался с ошибкой cryptography.fernet.InvalidToken при использовании PostgresHook внутри PythonOperator?
при этом, если в dag добавлять PostgresOperator с тем же conn_id - всё работает
источник

DS

Dimitriy Scherbenko in Airflow
Всем привет! Я новичок в airflow. Возвращает ошибку.  python_callable param must be callable
Подскажите, куда капать?
источник

ME

Max Efremov in Airflow
туда надо функцию)
источник

DS

Dimitriy Scherbenko in Airflow
Max Efremov
туда надо функцию)
так я функцию и передаю)
источник

ME

Max Efremov in Airflow
видимо как-то не совсем так, раз питон её ща функцию не считает
источник

AA

Anton Afonin in Airflow
Dimitriy Scherbenko
Всем привет! Я новичок в airflow. Возвращает ошибку.  python_callable param must be callable
Подскажите, куда капать?
Нужен код, но почти наверняка дело в том, что надо убрать скобочки)
источник

DS

Dimitriy Scherbenko in Airflow
спасибо @Tmin10_work
имя функции совпадало с именем оператора
источник
2020 July 08

ME

Max Efremov in Airflow
Подскажите, а почему когда из контекста таски считываю даг, у него старт дейт стоит None? Приходится читать дефолтные аргументы и оттуда дату начала дага брать
источник

AM

Aлексей Mатюхин... in Airflow
Всем привет. Подскажите, пожалуйста, по такому вопросу. Есть web server, scheduler, которые запущены каждый в своем контейнере и смотрят на даги через смонтированные папки. После того, как добавлен новый даг, он появляется, но не запускается, скорее всего не работает scheduler, просто не подхватывается. Что в таком случае делать? Только контейнер с нуля перезапускать?
источник

ME

Max Efremov in Airflow
А он автоматом включается?
источник