Size: a a a

2020 November 28

N

Nikita in Airflow
Антон
хотя без дага который падал - все работает в штатном режиме
В даге случайно нет вызова чего-нибудь через requests без таймаута?
источник

А

Антон in Airflow
ничего подобного не наблюдаю
источник

А

Антон in Airflow
а как прописать отдельную схему для бэкенда эйрфлоу? попробовал параметр sql_alchemy_schema, но во время инициализации говорит что там нет таблиц
источник
2020 November 30

VS

Vladislav 👻 Shishkov... in Airflow
Антон
а как прописать отдельную схему для бэкенда эйрфлоу? попробовал параметр sql_alchemy_schema, но во время инициализации говорит что там нет таблиц
Вроде никак, даже вроде issue была
источник

А

Антон in Airflow
Та я уже разобрался)
источник

А

Антон in Airflow
Но все равно, с вебсервером прям беда какая-то
источник

БМ

Борис М in Airflow
Всем привет. Немного не релевантный вопрос, но мб кто подскажет. Делаем двх. У нас есть база источник в которой есть таблица в 30 лямов строк,в произвольный момент строка оттуда может удалиться. Как мне на своей стороне соблюсти консистетность данных. Потому что сверять 30 лямов не оч хочется
источник

マサ

マキシム サモイロフ... in Airflow
change data capture
источник

ДН

Дмитрий Негреев... in Airflow
Борис М
Всем привет. Немного не релевантный вопрос, но мб кто подскажет. Делаем двх. У нас есть база источник в которой есть таблица в 30 лямов строк,в произвольный момент строка оттуда может удалиться. Как мне на своей стороне соблюсти консистетность данных. Потому что сверять 30 лямов не оч хочется
Если можете - настройте cdc, или попросите источник лог об удалениях писать.
Если ничего их этого не можете, выгружайте из источника и хранилища только ключ, и сравнивайте что пропало, это тоже быстро должно быть.
источник

БМ

Борис М in Airflow
ну вот
источник

БМ

Борис М in Airflow
у меня нету доступа к источнику) я и делаю вторым вариком
источник

БМ

Борис М in Airflow
но чет гонять 30 лямов записей, что бы найти 2-3 удаленных мне кажется кощюнством)
источник

БМ

Борис М in Airflow
да и долго это (10-12 минут)
источник

БМ

Борис М in Airflow
Но похоже, если нет доступа к источнику, то я мало что могу сделать:(
источник

ДН

Дмитрий Негреев... in Airflow
Сравнивайте на постоянной основе не на всю глубину
источник

ДН

Дмитрий Негреев... in Airflow
У вас наверняка удаляют что-то свежее
источник

ДН

Дмитрий Негреев... in Airflow
А раз в неделю проходитесь полностью
источник

БМ

Борис М in Airflow
Ну да, как то так и колдуем:(
источник

БМ

Борис М in Airflow
Просто думал можно что то умное сделать:(
источник

ДН

Дмитрий Негреев... in Airflow
Ну это нормально, а что тут сделаешь)
источник