GB
Расскажи, как у тебя запущен Airflow (ну или кинь ссылку на то, что ты использовал, чтобы его развернуть)
На сервере развёрнут
Девопс занимался этим.
Size: a a a
2020 October 22
GB
На сервере развёрнут
Девопс занимался этим.
Девопс занимался этим.
Ну вот пни его и скажи, что воркеры задачи не поднимают.
Чтобы исключить ошибку из-за ручного триггера, попробуй поставить в расписание через пару минут запуск этого дага (browse -> DAG runs -> create -> дальше очевидно)
Чтобы исключить ошибку из-за ручного триггера, попробуй поставить в расписание через пару минут запуск этого дага (browse -> DAG runs -> create -> дальше очевидно)
GB
Ну и попроси посмотреть логи именно шедулера
GB
Пример чего?
GB
Тут примеров-то особо и не надумаешь, если ты о создании даг рана
GB
Кто-нибудь подключал sentry к airflow? Решил опробовать, поднял бесплатный у них, вроде в конфиге всё прописал, airflow[sentry] доставил, запускаю специально испорченный даг, а в сентри тишина
VS
Потому что туда шляется все, что происходит с airflow, а не дагами. Поэтому отрубили и забыли
GB
Потому что туда шляется все, что происходит с airflow, а не дагами. Поэтому отрубили и забыли
Серьёзно? В доке рассказывают, что всё будет и про таски доставлено https://airflow.apache.org/docs/stable/errors.html
VS
Серьезно? 😂
GB
Серьезно? 😂
Я с удивлением, а не наездом)
GB
Потому что туда шляется все, что происходит с airflow, а не дагами. Поэтому отрубили и забыли
А поднимали у них или self-hosted? У меня есть подозрение, что чего-то не хватает на стороне сентри, но я с ним первый день знаком
VS
Я понимаю, я говорю наш опыт, он был на 1.10.8 или на 1.10.9.
Сомневаюсь, что в 1.10.10 что-то поменялось
Сомневаюсь, что в 1.10.10 что-то поменялось
GB
Блин, странно очень. Пишут, что и breadcrumbs будут, и жизнь заиграет новыми красками.
Просто есть потребность парсить большое количество логов по таскам, что неоч удобно через веб-морду.
А есть какие-то другие предложения из опыта "взлетевших"? Хостимся на aws, льём логи на s3
Просто есть потребность парсить большое количество логов по таскам, что неоч удобно через веб-морду.
А есть какие-то другие предложения из опыта "взлетевших"? Хостимся на aws, льём логи на s3
VS
А поднимали у них или self-hosted? У меня есть подозрение, что чего-то не хватает на стороне сентри, но я с ним первый день знаком
Что именно поднимали? У нас все селф, но сентри поднимал не я, airflow натравили и он стал слать туда 100500 ошибок от самого airflow, которые генерились шедулером и нафиг были не нужны. От тасок же не генерилось. От них может только тогда, когда технически таска где-то не проходит, например в celery затык, но если у вас все нормально настроено и есть мониторинг, то это нафиг не надо в сентри
GB
Что именно поднимали? У нас все селф, но сентри поднимал не я, airflow натравили и он стал слать туда 100500 ошибок от самого airflow, которые генерились шедулером и нафиг были не нужны. От тасок же не генерилось. От них может только тогда, когда технически таска где-то не проходит, например в celery затык, но если у вас все нормально настроено и есть мониторинг, то это нафиг не надо в сентри
Sentry, просто у них есть возможность захостить бесплатный у них, но он кастрирован по функциональности. Можно им заплатить за условия получше, а можно самому захостить
GB
Что именно поднимали? У нас все селф, но сентри поднимал не я, airflow натравили и он стал слать туда 100500 ошибок от самого airflow, которые генерились шедулером и нафиг были не нужны. От тасок же не генерилось. От них может только тогда, когда технически таска где-то не проходит, например в celery затык, но если у вас все нормально настроено и есть мониторинг, то это нафиг не надо в сентри
А с точки зрения "нормальности" настроенности, у нас пока только чистый airflow с самописным скалированием.
Хочется что-то для процессинга ошибок, потому что даги огромные, задачи в них однотипные, вручную можно что-то и не найти сразу, а время будет потеряно
Хочется что-то для процессинга ошибок, потому что даги огромные, задачи в них однотипные, вручную можно что-то и не найти сразу, а время будет потеряно
VS
Блин, странно очень. Пишут, что и breadcrumbs будут, и жизнь заиграет новыми красками.
Просто есть потребность парсить большое количество логов по таскам, что неоч удобно через веб-морду.
А есть какие-то другие предложения из опыта "взлетевших"? Хостимся на aws, льём логи на s3
Просто есть потребность парсить большое количество логов по таскам, что неоч удобно через веб-морду.
А есть какие-то другие предложения из опыта "взлетевших"? Хостимся на aws, льём логи на s3
Заиграет красками, если сами пропишите, но только нафиг это, если есть мониторинг, а в сентри летит все говно от самого airflow