Д
Секунду сейчас напишу
Size: a a a
2020 June 18
SG
Я бы не стал использовать аерфлоу для ожидания. Так получается, что какая-нибудь асинхронная приблуда, написанная за неделю, будет работать лучше. А проблемы с расписанием будут и там, и там
VS
не понял, и к чему это сообщение
SG
К тому, что 400 дагов по 3 последовательных таска — это сколько потоков на машине надо иметь, чтобы 12 гарантированно работало одновременно?
И это не касаясь того, что ребята планируют на 1 машине поднимать 12 воркеров
И это не касаясь того, что ребята планируют на 1 машине поднимать 12 воркеров
SG
Я с такими кейсами никогда не работал, но мой опыт говорит, что расписание поедет в любом случае, даже если всё развернётся. А без расписания чем аерфлоу лучше, чем асинхронный шедулёр на питоне, написанный за неделю?
VS
"одновременно" не только не писали, но и опровергли...
Д
Лучше тем что есть еще возможность писать кастомный etl который нам тоже нужен
SG
Раздобудьте машин побольше, мне кажется без этого не выстрелит
Д
Машина 8 ядер по 2GHz
SG
Дима
Лучше тем что есть еще возможность писать кастомный etl который нам тоже нужен
Питоновый скрипт лучше чем питоновый скрипт?
VS
Дима
Машина 8 ядер по 2GHz
памяти сколько?
Д
А кроме lshw какой утилитой можно память посмотреть?
VS
top, free
Д
32 гига оперативной памяти
VS
можно попробовать запустить на одной машине, но тайминги между тасками могут быть приличным
VS
ну и надо плясать от пика дагов, если в пике будет слишком много, то конечно это надо масштабировать
VS
кстати, а куда вы брокер собираетесь ставить? 😬
Д
У нас LocalExecutor планируется
Д
Точнее будет использоваться
VS
сразу нафиг