Телеграмм чат группы ruairflow страница 1152

Size: a a a

Airflow

979 membersпожаловаться на группу

2020 October 09

Никита in Airflow

Почему-то не поменялось значение, хотя в конфиге стоит число 50

источник

12:38пожаловаться #1

Panchenko Andrey in Airflow

ht,en&

источник

12:41пожаловаться #2

Panchenko Andrey in Airflow

ребут?

источник

12:42пожаловаться #3

Никита in Airflow

сейчас пересобираю контейнер, да

Хз почему так

Ihar Shurupau in Airflow

можно еще в самом даге указать max_active_runs

источник

12:45пожаловаться #7

Никита in Airflow

сейчас
у меня докер упал (

источник

12:52пожаловаться #8

Никита in Airflow

Указал, обновил, выдал ошибку

источник

12:55пожаловаться #9

Никита in Airflow

https://pastebin.com/hsvsq2Fb вот такие ошибки в логах выводит

Pastebin

worker_1 | [2020-10-09 09:47:55,443] {{timeout.py:42}} ERROR - Process time - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

12:59пожаловаться #10

СГ

Станислав Горчаков... in Airflow

Станислав Горчаков

или подскажите, плиз, какие-то альтернативы

если кто столкнется, то тут все написано https://habr.com/ru/post/512386/

Хабр

Apache Airflow: делаем ETL проще

Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт». Я расскажу вам о замечательном инструменте для разработки ETL-процессов —...

источник

13:04пожаловаться #11

Никита in Airflow

Никита

dag_concurrency надо было поменять , оказывается

источник

13:08пожаловаться #12

Никита in Airflow

Крч я немного понял ошибку
у меня скрипт запускается и начинает генерить кучу ранов , а потом падает в таймаут

источник

15:04пожаловаться #13

Никита in Airflow

и в конечном итоге я ничего не могу запустить

источник

15:04пожаловаться #14

Igor in Airflow

Никита

Крч я немного понял ошибку
у меня скрипт запускается и начинает генерить кучу ранов , а потом падает в таймаут

Вот это можно понять как "вы что-то делаете неправильно и запутаетесь"

А что значит скрипт генерит раны?

источник

16:08пожаловаться #15

Igor in Airflow

Просто если это значит что ваш даг генерирует сам себе таски в рантайме, то так можно словить много странных эффектов

источник

16:08пожаловаться #16

Никита in Airflow

как я понял, у меня шедулер скорее всего стоит 1 секунда будто бы и он запусает кучу одинаковых

источник

16:09пожаловаться #17

Никита in Airflow

но я так не хотел (

источник

16:09пожаловаться #18

Никита in Airflow

источник

16:09пожаловаться #19

Mikhail Dubkov in Airflow

Всем привет! Кто нибудь интегрировал логи airflow в S3 ?

источник

20:21пожаловаться #20