типа с первой таски сам

@zuynew  я к тому что пора скедулер делать на скале

Да, декларативные даги огонь. Kudos to @kxepal

Ребят, не подскажете ссылочку на видео  Moscow Spark с декларативными дагами

Сейчас найду

Вот, примерно с 5 минуты https://www.facebook.com/afishamansarda/videos/1648050321885680/

Презенташка здесь https://www.slideshare.net/RamblerML/apache-airflow-78340564

@pklemenkov  спасибо))

всем привет! знакомлюсь со scala/spark. что есть stdout в контексте  scala/spark? прочитал данные , хочу вывести  полученные строки. Работая в тетрадке (zeppelin) с этим проблем нет - использую show(). Как только запихиваю это в объект (главный метод просто читает джисон, парсит и должен печатать  строки), в sbt проекте при запуске приложения или сабмите не вижу абсолютно никакого вывода в консоль. (ожидаю именно вывода в консоль как print("") / println("") в обычном пайтон / java-scala скрипте.

пытаюсь заставить класс распечатать так:

val result = json.map(s => parse(s).extract[JsonData])
        result.take(30).foreach(println)

но в итоге при запуске спарк сабмит все проходит без ошибок, джарник и класс находятся, но в результате только варнинги по поводу логов

20/04/03 11:57:30 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
log4j:WARN No appenders could be found for logger (org.apache.spark.util.ShutdownHookManager).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

Если нет ошибки то не вижу проблемы (хотя она наверное есть)  с выводом результата. Или варнинги кк раз предупреждают что мне нужно настроить stdout?

println("hello") что нибудь выводит?

Нет , вообще любые println игнорит . Но ошибками не плюётся

Что case класс с данными пытаюсь вывести, что хелло - ничего.

@tyomick_mnemonic https://stackoverflow.com/questions/35639159/running-apache-spark-log4jwarn-please-initialize-the-log4j-system-properly

А сабмит в кластер-моде? Если да, то этот принт будет в stdout той тачки, на которой запустился драйвер, а не той, с которой выполнен сабмит. На той, на которой выполнен сабмит будет пусто.

это учебный прикол, выполняется на одной машине

да видел , но почему что проигнорил он мои изменения в файле конфигурации. моб попробовать удалить и создать новый

Продолжаю свои развлечения с kotlin-spark-api, работает кроме одного случая — когда в кортже иногда появляется nullable поле — вылетает ошика о том, что туда попал null. При этом если выключить spark.sql.codegen.wholeStage — всё работает корректно, наллабилити выводится правильно. Это как?

Оптимайзер плана просто отдельная логика; делает предположения о типах отдельно. А какая ошибка полностью со стек трейсом? Пишешь байндинги спарковые котленовые?

Оптимайзер плана- это не отдельная функция. Там даже не один оптимайзер, я бы сказал.