DS
По поводу митапов. Мне тут недавно в рассылке пришло https://www.meetup.com/ru-RU/EPAM-IT-EVENTS/events/271348196/?rv=ea1_v2&_xtd=gatlbWFpbF9jbGlja9oAJDhiNGNjMjc4LWM1YTQtNDFhYS05ZWJhLTAyYzQ4YWNmMGM3YQ
Size: a a a
2020 June 18
DS
Сори, не заметил)
2020 June 19
ДН
Всем привет!
Я понимаю что запускать что-то часто в airflow дело плохое, но может кто-то держит хотя бы десятки параллельно работающих тасок запускающихся раз в 5-10 минут?
Хотелось бы понять можно ли дать шедулеру много ядер и памяти , чтоб он чувствовал себя хорошо на постоянной нагрузке
Я понимаю что запускать что-то часто в airflow дело плохое, но может кто-то держит хотя бы десятки параллельно работающих тасок запускающихся раз в 5-10 минут?
Хотелось бы понять можно ли дать шедулеру много ядер и памяти , чтоб он чувствовал себя хорошо на постоянной нагрузке
PA
Всем привет!
Я понимаю что запускать что-то часто в airflow дело плохое, но может кто-то держит хотя бы десятки параллельно работающих тасок запускающихся раз в 5-10 минут?
Хотелось бы понять можно ли дать шедулеру много ядер и памяти , чтоб он чувствовал себя хорошо на постоянной нагрузке
Я понимаю что запускать что-то часто в airflow дело плохое, но может кто-то держит хотя бы десятки параллельно работающих тасок запускающихся раз в 5-10 минут?
Хотелось бы понять можно ли дать шедулеру много ядер и памяти , чтоб он чувствовал себя хорошо на постоянной нагрузке
Тасок или дагов?
PA
У меня штук 10 дагов раз в пять минут.
ДН
Тасок или дагов?
Тасок, а у вас сколько в даге тасок в параллель идёт?
PA
Конкретно в этиз две.
PA
Есть дага с 20-ю тасками но там каденс в 4 часа
DS
А можете подсказать если у меня есть 50 однотипных процесов , то вариант 1 я положу их все внутрь одного дага в паралель, 2 или же сделаю 50 дагов и буду их запускать в паралели, как думаете что лучше?
SA
Ну мы обычно плодили 50 дагов, даги генерились динамически
マサ
Ну, можно и через эйрфлоу, но такое себе. Чтоб он каждые н минут ходил и опрашивал ga/ym на предмет новых данных
Можно еще @once джобу, где будет обработчик стрима постоянно крутиться по while-true.
GG
Можно еще @once джобу, где будет обработчик стрима постоянно крутиться по while-true.
Тебе тогда cockpit + systemd + самописный питон скрипт лучше пойдет
АМ
а если попробовать заменить { на {{
может кто сталкивался. запустил в докере airflow(1.10.9) на CeleryExecutor. Даги перестали выполнятся, запускаются по расписанию и висят в статусе queued. на Sequential выполнялись норм
АМ
SG
может кто сталкивался. запустил в докере airflow(1.10.9) на CeleryExecutor. Даги перестали выполнятся, запускаются по расписанию и висят в статусе queued. на Sequential выполнялись норм
Выглядит так, будто у вас воркер недоступен
АМ
Воркер в отдельном контейнере. Контейнер запущен
SG
Воркер в отдельном контейнере. Контейнер запущен
...и не виден вебсерверу и шедулеру
АМ
по инструкции делал вроде puckel
/docker-airflow
не силен в установке ((
/docker-airflow
не силен в установке ((
SG
Через докер-композ / сварм, или просто набор команд докера?