ME
В исходниках хука можно посмотреть, что он использует из конекшена
Size: a a a
2021 May 05
GB
Если у дага есть расписание – так и будет работать. Если нет (а так можно и с дагами с расписанием) – execution date будет выставлен либо моментом нажатия на кнопку Trigger DAG, либо, если создавать именно DAG Run – выбранной тобой датой
GB
Создавай через консоль – это раз, в UI заводить не очень удобно, из коннекшна в ES используется схема, хост, порт и креды, всё не в extra, а в соответствующих полях
GI
Спасибо! Возможно проблема в самом Elastic search Hook, капалась но мои изменение не помогли. решила обыграть через BaseHook.get_connection и передача параметров коннекшна в Elasticsearch (from elasticsearch import Elasticsearch) и через него создание клиента
GI
Может кому-то тоже пригодиться
GB
Я бы завёл через консоль, и попробовал создать уже в коде Connection, у которого проверил бы необходимые параметры (их можно посмотреть в коде хука)
https://airflow.apache.org/docs/apache-airflow-providers-elasticsearch/1.0.3/_modules/airflow/providers/elasticsearch/hooks/elasticsearch.html
https://airflow.apache.org/docs/apache-airflow-providers-elasticsearch/1.0.3/_modules/airflow/providers/elasticsearch/hooks/elasticsearch.html
2021 May 06
AP
Коллеги, использовал airflow 1.10.14. Обновил до 2.0.2
[2021-05-06 08:38:48,147] {settings.py:425} DEBUG - Failed to import airflow_local_settings.
Traceback (most recent call last):
File "/home/airflow/.local/lib/python3.6/site-packages/airflow/settings.py", line 402, in import_local_settings
import airflow_local_settings
ModuleNotFoundError: No module named 'airflow_local_settings'
[2021-05-06 08:38:48,147] {logging_config.py:53} DEBUG - Unable to load custom logging, using default config insteadAP
куда копать?
AP
В интернете ничего похожего на мою ошибку не нашел
SC
Как это? У меня комменты строк на русском, description в даге тоже на русском
SC
SC
Проверьте кодировку в которой сохраняете .py-файлы
SC
А вы операции с БД делали после обновления ?
AP
удаляю полностью airflow и ставлю заново
SC
Потому что win это дефолтная кодировка...
SC
Use docker easy way to start Airflow?