ME
а вообще зависит от конкретного случая, наверное. Можно и одним запросом всё покрыть
Size: a a a
2020 October 07
AK
А если много файлов?
файлов будет много
AK
У меня к примеру в методе, есть цикл, который берет все новые файлы за сутки и грузит их в clickhouse
ME
можно вон вообще в variables закинуть и чекать
AK
насколько правильно это, я не могу сказать
ME
или в xcom
PA
У меня сенсор на бакет и проверка файлов обработанных и подъехавших
PA
Не жалуюсь
ME
У меня сенсор на бакет и проверка файлов обработанных и подъехавших
можно лямбдой сделать)
ME
более амазон-нейтив
PA
Та тут не выйиграешь по времени
AK
У меня сенсор на бакет и проверка файлов обработанных и подъехавших
Хмм, у меня PythonOperator на проверку новых файлов на бакете, если есть то грузит на локалку, чтобы в дальнейшем использовать
Можно же по идее не грузить к себе, а сразу в базу, верно понимаю, так делал кто?
Можно же по идее не грузить к себе, а сразу в базу, верно понимаю, так делал кто?
PA
Можно,делал
ME
Хмм, у меня PythonOperator на проверку новых файлов на бакете, если есть то грузит на локалку, чтобы в дальнейшем использовать
Можно же по идее не грузить к себе, а сразу в базу, верно понимаю, так делал кто?
Можно же по идее не грузить к себе, а сразу в базу, верно понимаю, так делал кто?
если кликхаус может забрать из s3
ME
у нас в аврору грузится с s3, но это немного другое
PA
У меня гугл клауд
PA
Из клауда с указанием схемы сразу в таблицу
2020 October 08
ДН
@SLASH_CyberPunk скажи плиз, а вы когда расписание у дага меняете, как-то чекаете что у вас зависимости не разрушаются?
awaits {
z_log_compaction {
dag = "compactor_daily_23_21_A_A_A"
task = "compact_z_log_db_z_log"
timedelta = 3hr37m
}
oracle_bl_fct_orderitem_detail {
dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
}
}
то dag_id меняется же
awaits {
z_log_compaction {
dag = "compactor_daily_23_21_A_A_A"
task = "compact_z_log_db_z_log"
timedelta = 3hr37m
}
oracle_bl_fct_orderitem_detail {
dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
}
}
то dag_id меняется же
VS
@SLASH_CyberPunk скажи плиз, а вы когда расписание у дага меняете, как-то чекаете что у вас зависимости не разрушаются?
awaits {
z_log_compaction {
dag = "compactor_daily_23_21_A_A_A"
task = "compact_z_log_db_z_log"
timedelta = 3hr37m
}
oracle_bl_fct_orderitem_detail {
dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
}
}
то dag_id меняется же
awaits {
z_log_compaction {
dag = "compactor_daily_23_21_A_A_A"
task = "compact_z_log_db_z_log"
timedelta = 3hr37m
}
oracle_bl_fct_orderitem_detail {
dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
}
}
то dag_id меняется же
Лучше у @sowow359 спросить 😬
N
@SLASH_CyberPunk скажи плиз, а вы когда расписание у дага меняете, как-то чекаете что у вас зависимости не разрушаются?
awaits {
z_log_compaction {
dag = "compactor_daily_23_21_A_A_A"
task = "compact_z_log_db_z_log"
timedelta = 3hr37m
}
oracle_bl_fct_orderitem_detail {
dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
}
}
то dag_id меняется же
awaits {
z_log_compaction {
dag = "compactor_daily_23_21_A_A_A"
task = "compact_z_log_db_z_log"
timedelta = 3hr37m
}
oracle_bl_fct_orderitem_detail {
dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
}
}
то dag_id меняется же
У нас в тестах есть на это проверка, если такой таски/дага нет в dagbag, он об этом заорёт