ST
я чисто тасочки на кубере скейлю, про твой кейс хз
Size: a a a
2020 August 15
АЖ
там по сути надо ходить airflow в пг, брать джобу, выделять ресурсы и после оончания отсылать по odbs рельтат клиенту в oracle/mssql
odbс? за шо?
СХ
я чисто тасочки на кубере скейлю, про твой кейс хз
ну у тебя не сервис
ST
сервис)
АЖ
мне кажется, у продакта есть некоторые сложности с техлидом
СХ
odbс? за шо?
так там тупо sql инсерт клиенту в базу более старого продукта
АЖ
Не суть. В чем вопрос-то?
СХ
Не суть. В чем вопрос-то?
просто не очень понятно, как ресурсы выделять, разные вычисления имеют разный приоритет и разный обьём вычислений, надо анализировать джобу которую присылает клиент вместе с данными для аналитики, нужно провести в спарке вычисления(сплошной матан), а реультат записать клиенту в бд
СХ
там может быть как 1 млн уровнений так и 30 млн, и разная их сложность, некоторые вычисления идут по несколько суток
СХ
в зависимости от тарифа который покупает клиент, у него есть максимум ресурсов в нашем по
СХ
но не клиент ставит джобы а мы по их приходу
АЖ
Но при чем тут Airflow?
СХ
ну airflow вроде умеет ставить сложные джобы спарк по критериям
СХ
и контролировать их исполнение
GB
не верю я что это будет нормально работать
АЖ
Airflow - это тулза для работы чего угодно по расписанию с графом выполнения
GB
даже если с 0 логику и операторы писать
СХ
😭я думал были уже кейсы похожие у кого
АЖ
Кейсы чего? Spark-submit из airflow? :)
АЖ
😭я думал были уже кейсы похожие у кого
Ты хочешь написать калькулятор параметров для сабмита?