АЖ
Опять этот мифический 2.0
Size: a a a
2020 October 13
АЖ
он наступит скоро, надо только подождать
I
Судя по черновым докам будет нормально работать только с Postgres и MySQL https://github.com/apache/airflow/pull/11467
D
Любопытно. В моей проблеме два вопроса оказались связаны. Шедулер перезапускался, потому что ему передавался параметр num_runs = 5, то есть после 5 проходов по дагам он прекращал работать и рестартовал. После рестарта при наличии одной долго работающей задачи новые шедулить он не начинал.
D
Все эти проблемы приехали из Ansible Playbook который мы решили использовать.
2020 October 14
SK
Ребят, всем привет, а кто как решает проблему с большим количеством зависимостей у ДАГов(когда много сенсоров)?
У меня очень часто все Даши забивают очередь и не дают другим тачкам выполнятся
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
У меня очень часто все Даши забивают очередь и не дают другим тачкам выполнятся
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
ME
Ребят, всем привет, а кто как решает проблему с большим количеством зависимостей у ДАГов(когда много сенсоров)?
У меня очень часто все Даши забивают очередь и не дают другим тачкам выполнятся
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
У меня очень часто все Даши забивают очередь и не дают другим тачкам выполнятся
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
какой экзекьютор?
ME
сиквентал только 1 таску за раз делает, надо менять его
SK
какой экзекьютор?
Celery, планируем перезжать на kub
ME
Можно сделать пул для сенсоров
ДН
Ребят, всем привет, а кто как решает проблему с большим количеством зависимостей у ДАГов(когда много сенсоров)?
У меня очень часто все Даши забивают очередь и не дают другим тачкам выполнятся
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
У меня очень часто все Даши забивают очередь и не дают другим тачкам выполнятся
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
сам не пробовал, но для сенсоров есть reschedule чтобы высвобождать слоты параллелизма
+ в отдельный пул их складывать, чтоб обычным таскам не мешали
+ в отдельный пул их складывать, чтоб обычным таскам не мешали
SK
Можно сделать пул для сенсоров
Сделанно
SK
сам не пробовал, но для сенсоров есть reschedule чтобы высвобождать слоты параллелизма
+ в отдельный пул их складывать, чтоб обычным таскам не мешали
+ в отдельный пул их складывать, чтоб обычным таскам не мешали
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
SK
Можно сделать пул для сенсоров
Сейчас решил выделением пула для дагов меньше чем количество воркеров и влепил таймауты на выполнение по 10 секунд и перерывы в 5ть минут, но вскопано иного встаёт колом
SK
не спасает(
SK
сенсоров много
ДН
увеличивайте параллелизм на инстансе/воркерах
ДН
еще воркеров добавьте
ДН
можно пул слабеньких воркеров чисто под сенсоры выделить