А
Size: a a a
2021 March 10
GB
ага
Эх, потёрлось моё сообщение в слаке airflow, там мне контрибьютор посоветовал этого не делать)
GB
Вообще мне были нужны сабдаги, но потом я просто перевёл всё на динамическую генерацию дагов (сабдаги все были одинаковые)
Сейчас вот хотим переезжать на 2, а там вроде таск группы для этого завели получше
Сейчас вот хотим переезжать на 2, а там вроде таск группы для этого завели получше
GB
я бы тоже перевел на 2, но я только недавно перевел с 1.9 на 1.10.12)
Ну мы вот очень хотим, потому что шедулер стал реальным бутылочным горлышком, а они там fast-forward обещают и HA шедулер (у нас burst-нагрузки в основном, 90% времени не нужно столько ресурсов, сколько мы заложили на него, будем просто накидывать контейнеров, когда один перестанет справляться)
GB
у вас в докерах?
Ага, и в облаке
DN
Всем привет, у меня на текущий момент есть небольшая эстетическая проблема. Как сейчас работаю с airflow
Есть контейнер на wsl где стоит питон и airflow, в pycharm это удаленный интерпретатор и вроде все ок, но не видит плагины которые опрокинуты как volume на хост(не видит именно интерпретатор, тоест ьнет подстановки), вроде работает и не страшно, но хочется чтобы была подстановка, кто то решал такое?
Есть контейнер на wsl где стоит питон и airflow, в pycharm это удаленный интерпретатор и вроде все ок, но не видит плагины которые опрокинуты как volume на хост(не видит именно интерпретатор, тоест ьнет подстановки), вроде работает и не страшно, но хочется чтобы была подстановка, кто то решал такое?
GB
Всем привет, у меня на текущий момент есть небольшая эстетическая проблема. Как сейчас работаю с airflow
Есть контейнер на wsl где стоит питон и airflow, в pycharm это удаленный интерпретатор и вроде все ок, но не видит плагины которые опрокинуты как volume на хост(не видит именно интерпретатор, тоест ьнет подстановки), вроде работает и не страшно, но хочется чтобы была подстановка, кто то решал такое?
Есть контейнер на wsl где стоит питон и airflow, в pycharm это удаленный интерпретатор и вроде все ок, но не видит плагины которые опрокинуты как volume на хост(не видит именно интерпретатор, тоест ьнет подстановки), вроде работает и не страшно, но хочется чтобы была подстановка, кто то решал такое?
Подстановка – подсветка и подсказки в IDE?
DN
но по факту все работает
DN
упс, хостом чуть не засветился..., сорян, но думаю понятно о чем речь, подстветка и подсказки
GB
Как вариант – настроить syspath, чтобы видело папку с плагинами.
Ещё можно проверить, тот ли python/пользователь: в докере airflow по дефолту пользователь airflow, и зависимости ставятся для него. Неуверен, что это правильный путь, но можно зайти в контейнер под юзером airflow и вбить
Ещё можно проверить, тот ли python/пользователь: в докере airflow по дефолту пользователь airflow, и зависимости ставятся для него. Неуверен, что это правильный путь, но можно зайти в контейнер под юзером airflow и вбить
which pythonDN
Как вариант – настроить syspath, чтобы видело папку с плагинами.
Ещё можно проверить, тот ли python/пользователь: в докере airflow по дефолту пользователь airflow, и зависимости ставятся для него. Неуверен, что это правильный путь, но можно зайти в контейнер под юзером airflow и вбить
Ещё можно проверить, тот ли python/пользователь: в докере airflow по дефолту пользователь airflow, и зависимости ставятся для него. Неуверен, что это правильный путь, но можно зайти в контейнер под юзером airflow и вбить
which pythonСпасибо, есть чем заняться после работы :)
SC
Привет всем!
Вопрос такой... airflow не хочет добавлять dag-файл, ругаясь что не может прочитать файл с диска (в скрипте чтение настроек)
File "/home/airflow/airflow/dags/qv_np_default.py", line 202, in read_config
with open('config.json', 'r') as f:
у файла (config.json) права и группа - airflow, из под этой же учетки запущен веб сервер и шедулер..
Вопрос - что ему нужно?
Вопрос такой... airflow не хочет добавлять dag-файл, ругаясь что не может прочитать файл с диска (в скрипте чтение настроек)
File "/home/airflow/airflow/dags/qv_np_default.py", line 202, in read_config
with open('config.json', 'r') as f:
у файла (config.json) права и группа - airflow, из под этой же учетки запущен веб сервер и шедулер..
Вопрос - что ему нужно?
SC
указать абсолютный путь попробуй
Да, помогло только так...
AK
вот в какой то презе увидел
у нас так сделано, все можно подкрутить любой параметр
если у тебя джоба свалится то таска красной станет
у нас так сделано, все можно подкрутить любой параметр
если у тебя джоба свалится то таска красной станет
привет, хотел спросить у вас airflow в kubernetes развернут или локально на хосте? у меня при создании DAG stack trace вываливается на то что там зивисимости с kubernetes какие то