а спринг только проблемы создавать себе, были же ребята тут и у них были проблемы какие-то с класс лоадерами

Livy

Всем привет. Есть задача, колонку с бинарным флагом в инте смаппить на соответствующие значения из словарей, где ключ маска. тоесть флаг 17, и словарик {1: 'a', 2: 'b', 4: 'c', 8: 'd', 16: 'e'} смаппится в ['a', 'e']. Но есть доп условие, что словарик меняется в зависимости от еще одной колонки (column_property), и нужно выбирать словарик исходя из индекса в этой колонке. Можно как-то ускорить мою реализацию, я не нагуглил топовое готовое решение: https://pastebin.com/0r3LdN1g

PRIVILEGES_MAPPING_# - это словарики

Всем привет! Правда ли что моделями из pyspark mllib лучше не пользоваться? (слышал мнение, что они устарели и вообще плохо написаны)

Они дают качество хуже, чем нормальные фреймворки

Сам mllib написан на rdd api, есть spark ml, то же самое, но с датафреймами и пайплайнами

Плюс к нему можно пристроить плагинами нормальные фреймворки, вроде xgboost4j-spark, mmlspark, вроде даже нейросеточки

Тут выше кто-то писал про pytorch on spark

Нормальные это какие?

Те, которые выигрывают кегл

Линейная регрессии и деревья устарели?  Чо-то новое там придумали?

Там бустинг кривой, он не зарешивает вообще

Нет, не правда, это бред. Там классический Ml, подмножество scikit-learn

Сколько ни подбирай параметры, xgboost из коробки даст на 2% выше точность

Xgboost! =любой бустинг, вы же в курсе?

Ок, lightgbm тоже даст точность гораздо выше, и катбуст тоже)

Сам фреймворк-он кривой, никто не спорит. Но алгоритмы там обычные, блин

Короче, промышленные реализации моделей лучше, чем те базовые, которые реализованы в спарк мл

Конечно, блин, это продвинутые, необощенные версии бустинга.