А какую специализацию?

ох.. по моему его нет в списке .  что то специальное под заказчика
Apache Spark - 10 домашек

тут только 5
https://newprolab.com/ru/spark-module

а все как в анекдоте

 - вот бумага , вот ручка . ручкой можно рисовать.
- а теперь - портрет преподавателя 😂

Никто свой велосипед там делать не заставляет. Сам прошел этот курс недавно. Все решается стандартными методами, надо просто лучше смотреть документацию

Вау вау, полеХШе )  я правильно понимаю , что после прохождения этого курса, буду так же в дверной проем не проходить ?😂

У меня предметная область такая , что появление новых колонок это норма, примерно раз в месяц будет появляться новые показатели.  И пока моей фантазии хватило только на то , что бы найти способ хранить массив в ячейке. Конечно есть ещё путь , когда индикаторы переносятся в строчки и в звезде только одно поле для значений.

Но это не Hadoop way 😂 теряется все преимущество поколоночного хранения индикаторов.

В общем вопрос  такой , как лучше обновлять старые паркетники на предмет изменения состава колонок.

Есть ли стандартный способ хранения и соответствующие библиотеки ,  для обработки метаданных в таком изменчивом мире ?)

Методом перезаписывания, мне кажется. К счастью если работать с хайвом - то схема между партициями может отличаться, например. Тогда пока старое не пересчиталось - там будут null'ы приходить

👍 hive да ) звучит то что нужно ) Спасибо !)

Я не уверен что в этой картинке мне правда нужен хайв. Вероятно Спарк метастор делает ровно так же

Это я фигню сказал, не надо обращать на неё внимание

тут битки недорого

Спасибо; чёт зачастили конечно

У меня хороший бот есть если надо

А как зовут

Включаешь ему капчу и получается очень эффективно

для его использования требуется искусственная нога?

Нет, только титановые шары