GB
Это всё понятно, просто ротейт требует предыдущего ключа для смены. А он был в те тёмные времена рандомный
Size: a a a
2021 May 12
VS
вот есть такое, но наверно вы концы уже не найдете, тогда вариант залезть в бд руками, удалить дефолтные, запустить инитдб
VS
ну и восстановить креды, которые нужны были
SC
А киньте мануал по git-sync дагов для докера?
GB
Пока остановился на том, что удалю и заново заведу, ими всё равно не пользуются, вероятность проблем нулевая
SC
А то я тут практикуюсь, и решил пойти с другой стороны... http://github.com/bintocher/qlikflow
GB
Такое только в кубере. Для всех остальных либо «запекать» даги в образ, либо общий маунт.
Общий маунт синкается очевидным git pull-ом, как его запускать – уже вопрос, зависящий от инфраструктуры
Общий маунт синкается очевидным git pull-ом, как его запускать – уже вопрос, зависящий от инфраструктуры
MM
А почему такое ток в кубере?
GB
Говоря так, я подразумеваю, что в официальной документации про git-sync говорится только в контексте кубера.
Принимаю, что это не совсем корректно. Можно ли тот же гит синк запустить в компоузе? Да. Но зачем? Если там есть какой-то CI/CD конфиг, запускающий докер-компоуз, то нет проблемы дёрнуть git pull в одном из сервисов просто с пушем
Принимаю, что это не совсем корректно. Можно ли тот же гит синк запустить в компоузе? Да. Но зачем? Если там есть какой-то CI/CD конфиг, запускающий докер-компоуз, то нет проблемы дёрнуть git pull в одном из сервисов просто с пушем
ME
слушайте, а сделать даг просто из 20 отдельных тасок - нормально?)
ME
у меня 20 похожих операций, которые создаются по конфигу в цикле и надо их выполнить вместе. Больше ничего нет)
РМ
Ну нужно учитывать ваше количество воркеров
ME
там 16 сначала в работу идут, остальные немного ждут, но это не беда. Я про сам подход)
ME
а то получился вообще не граф, ни одного ребра нет
VS
"вместе" понятие очень спорное
VS
в параллель можно и это будет все равно граф, где будет стартовая и конечная таска dummy, а между ними в параллель ваши таски
ME
Вот, вопрос про эти стартовые и конечные. Сейчас работает без них, просто 20 отдельных тасок. нужно ли их вообще?
MM
с ними визуально красивее будет. В DummyOperators их
а так надо по семантике посмотреть
может это на самом деле 20 дагов из одной таски (и в будущем логика в каждом унифицированно может быть усложнена)
их можно так же сгенерить цикликом
а так надо по семантике посмотреть
может это на самом деле 20 дагов из одной таски (и в будущем логика в каждом унифицированно может быть усложнена)
их можно так же сгенерить цикликом
ME
У меня это задача экспорта табличек из базы в s3. Запуск шелл скрипта, т.е. это 20 баш операторов, по одному на табличку
ME
пока ещё думаю добавить какой-то сенсор возможно в начало, но пока без него, чисто по расписанию