Как вы боретесь с тем, что хочется взять и сжечь все кривое легаси к черту? И одновременно осознавать тот факт, что писать все заново не потянешь ни ты ни твои коллеги ни даже Будда,  узревший миллиарды и миллиарды строчек говнокода. А ещё, что менять это в принципе никому кроме тебя не надо, и ты, видимо единственный, кто ездит в этой темной комнате без окон на этом велосипеде с квадратными колёсами  и дилдаком вместо сидушки.  Ведь у твоих «помощников» KPI на поставку квадратных колёс и дизайн музыкального сопровождения.?

Как вы боретесь с тем, что хочется взять и сжечь все кривое легаси к черту? И одновременно осознавать тот факт, что писать все заново не потянешь ни ты ни твои коллеги ни даже Будда,  узревший миллиарды и миллиарды строчек говнокода. А ещё, что менять это в принципе никому кроме тебя не надо, и ты, видимо единственный, кто ездит в этой темной комнате без окон на этом велосипеде с квадратными колёсами  и дилдаком вместо сидушки.  Ведь у твоих «помощников» KPI на поставку квадратных колёс и дизайн музыкального сопровождения.?

Как вы боретесь с тем, что хочется взять и сжечь все кривое легаси к черту? И одновременно осознавать тот факт, что писать все заново не потянешь ни ты ни твои коллеги ни даже Будда,  узревший миллиарды и миллиарды строчек говнокода. А ещё, что менять это в принципе никому кроме тебя не надо, и ты, видимо единственный, кто ездит в этой темной комнате без окон на этом велосипеде с квадратными колёсами  и дилдаком вместо сидушки.  Ведь у твоих «помощников» KPI на поставку квадратных колёс и дизайн музыкального сопровождения.?

Так на Котлине уже можно спарк приложения писать, а на .net?
Мне кажется, если завезут .net в спарк, то народу больше добавится, считая целая платформа сможет зайти. Я не прав?
p.s. сам я на Котлине пишу

Коллеги, для pyspark создавали свои типы данных на основе used defined types?

Сам не делал, но можно попробовать покопаться на примере библиотечки GeoSpark
https://github.com/DataSystemsLab/GeoSpark/search?q=udt&unscoped_q=udt

Коллеги, а кто-то использует Spark на Kubernetes кластере?
Сейчас стартап стартапим и заезжаем в GCP (aka Google Cloud Platform).
У них есть такая интересная опция.

Ожидания: пошарить вычислительные мощности с другими сервисами и поднять утилизацию ресурсов.

В чем вопрос: интересны pitfalls и чего вы достигли с такой опцией по сравнению с обычным кластером.

Optional: если еще и опыт сочетания всего этого с kubeflow - вообще огонь

можно в личку спросить про kubeflow/mlflow?

Коллеги, а кто-то использует Spark на Kubernetes кластере?
Сейчас стартап стартапим и заезжаем в GCP (aka Google Cloud Platform).
У них есть такая интересная опция.

Ожидания: пошарить вычислительные мощности с другими сервисами и поднять утилизацию ресурсов.

В чем вопрос: интересны pitfalls и чего вы достигли с такой опцией по сравнению с обычным кластером.

Optional: если еще и опыт сочетания всего этого с kubeflow - вообще огонь

V2 использовал, он не deprecated
Вот тут есть пример кастомного: https://stackoverflow.com/questions/42293798/how-to-create-custom-set-accumulator-i-e-setstring

спс, а для чего обычно используете? Для отладки?

Подскажите, вы используете аккумуляторы в своих спарк разработках? По ним мало информации в интернете,  складывается впечатление, что они deprecated