Как класть Parquet

Фёдор Лаврентьев, Data engineer @ Front Tier

Я, конечно, расскажу, зачем вообще Parquet нужен, как устроен, почему он такой компактный и так быстро работает — но это всё вы и так знаете.
Хардкор будет про то, почему Parquet работает медленно, так много занимает, как на нем глючат Spark, Sqoop и Impala, и как можно ускорить весь кластер на порядок, немного переписав ETL-фреймворк. Под конец будут упражнения для развития эрудиции — сравнения с другими файловыми форматами, а также аналогии из мира колоночных СУБД.

Mist — Serverless proxy for Spark

Вадим Челышов, Разработчик @ hydrosphere.io

Из коробки у пользователей Spark для запуска приложений нет ничего кроме spark-submit. Чтобы дойти до продакшена, нам приходится решать одинаковые для всех задачи: как запускать джобу, как доставлять ее до кластера, как обрабатывать ошибки и, возможно даже, как это все масштабировать. Я буду рассказывать про такую штуку как Mist, цель которого разом решить все эти вопросы, заменив традиционное описание…