Н
Size: a a a
2020 October 14
ME
Зависит от предыдущих
ME
нужно как-то скрестить бранчинг и сенсор, наверное)
ME
У меня есть похожая проблема: есть сенсор и когда он валится, я не хочу, чтоюы валился весь даг ран...
АЖ
У меня есть похожая проблема: есть сенсор и когда он валится, я не хочу, чтоюы валился весь даг ран...
all_done в конце?
ME
all_done в конце?
ага, дефолтный
ME
Там вроде можно указать, что одна таска может успешно завалиться?
АЖ
Там вроде можно указать, что одна таска может успешно завалиться?
Ну бранячи делай, где-то all_success, где-то all_done
ME
Я пока ещё не тыкал, но думаю надо разобраться. Сейчас спамит в логи ошибками каждый день)
SK
Df.to_sql)
2020 October 15
GB
Подскажите, как можно исправить следующую ситауцию?
CeleryExecutor, DAG из 4+ тысяч тасков, разделённых на две разные очереди, с разными воркерами.
Таски долго висят в статусе None, в очереди появляются с очень большим лагом. Вижу, что выполнились задачи, но прежде чем новые попадут хотя бы в scheduled, проходит очень много времени (>5 минут)
CeleryExecutor, DAG из 4+ тысяч тасков, разделённых на две разные очереди, с разными воркерами.
Таски долго висят в статусе None, в очереди появляются с очень большим лагом. Вижу, что выполнились задачи, но прежде чем новые попадут хотя бы в scheduled, проходит очень много времени (>5 минут)
ME
мб у скедулера ресурсов не хватает?
GB
мб у скедулера ресурсов не хватает?
Вижу, что CPU скачет в районе 70-90%, памяти вообще не больше 6%
GB
Сколько ядер имеет смысл давать в продакшене? У меня сейчас на scheduler-е 2 ядра
А
Всем добрый вечер. Кто может подсказать актуальный аналог этого https://github.com/airflow-plugins/google_analytics_plugin
