M
тут вообще главная проблема в том, что в моей задаче я данные не могу никак менять и перестраивать, такая схема есть и задача стоит читать из нее самые нужные версии в соответствии с этими референсами
Size: a a a
2020 December 22
EC
Пардон, но выглядит так, как будто хотим избавиться от join с референсной табличкой суть метаданные. Тут уж, что дешевле доработать.
EC
Еще покопаю, как extension пилить, давно хотел разобраться, может и до load доберусь (
2020 December 23
Н
Привет, кто--нибудь запускает SparkSqlOperator через YARN? У меня никак не получается пишет UnknownHostException и мой докер образ
e
Скажите пж. я правильно понимаю что AirFlow для Spark это просто *запускатель* scala программ ? Т.е. нет инструментов , которые объединяли бы исходный код и расписание для его выполнения
ПФ
Скажите пж. я правильно понимаю что AirFlow для Spark это просто *запускатель* scala программ ? Т.е. нет инструментов , которые объединяли бы исходный код и расписание для его выполнения
Airflow не для spark, он просто оркестратор, так же как, например, luigi или дженкинс
e
Что посоветуете?)
ПФ
Что посоветуете?)
Airflow
АЖ
Что посоветуете?)
а что надо-то?
АЖ
одновременно билдить и запускать?
ПФ
одновременно билдить и запускать?
Ну видимо хочется иметь @Schedule аннотацию прямо в коде
e
Да, исключить шаг перекладки jar на кластер. Что бы все было в одном месте.
АЖ
зашедулить скалабилд!
АЖ
ну а вообще я иногда и монструозные даги из репы airflow уношу в отдельную
ПФ
Строго говоря если Airflow запущен на машинах в кластере - то никакой перекладки нет
АЖ
а доставить через CI все на один кластер - это вообще не проблема
ПФ
Вы можете написать свой собственный простой оркестратор на quartz, который будет запускать Спарк прямо из своего кода
ПФ
ПФ
Вот пример
e
Java vs Scala API
народ, скажите знаете ли вы хоть какие то примеры того когда java API было не достаточно и нужно было решать задача через scala ?
народ, скажите знаете ли вы хоть какие то примеры того когда java API было не достаточно и нужно было решать задача через scala ?