перекосы  это уже другое )
но я все еще надеюсь , что ram можно как-то посчитать

диагностировать может легко, тут спарк обычно не обманывает с месседжем в ошибках, но я вот до сих пор не знаю, а что с этим делать. сегодня есть перекос, завтра нет, после завтра перекос  в трое больше будет.
еще имхо большая проблема что дурит спарк с сообщениями об ошибках. у нас постоянно сообщения, что таймауты в нетворке, хотя на самом деле в нетворке никаких проблем - таймауты из-за того что кому-то там не хватило процессора вовремя ответить, а ярн или спарк не стал ждать. особенно красиво это выглядит в связке с kudu

Натравливать dq решения на датасет и исходя из наличия перекоса выбирать разные стратегии хеширования, например

Лучше всего исходить из того, что есть, и подгонять под это свои джобы, а не подгонять память под задачу

А это откуда?

No clue

Группа в полосатых купальниках)))))

Интересно, а как вам удалось понять, что ошибка нетворк таймаут связан именно с нехваткой ресурсов? Как диагностировали? У нас просто тоже такие ошибки периодически возникают

Kudu помогло. Как только мап-редюс массово пишет в kudu спарковые экзекьютеры странные ошибки кидали

Снизили нагрузку и параллельность у куду, необьяснимых сбоев спарк экзекьютеров уменьшилось

Подскажите где лучше начинать и продолжать изучать Apache Spark, Kafka Spark и Cassandra? Нужно добрать скиллы эти. Я посомтрел немного ютуба, ничего не понял ещё. В SQL, pandas кое-что умею. Это я так свою базу обозначил. Посоветуйте в куда лезть, пожалуйста.

Для начала вот этот курс, думаю, вполне подойдёт

да, спасибо, я на него и записался, но тчо-то там мало кассандры и кафки нету. Я и начал подбирать на более детализированое что-нибдуь.

к тому же мне, как челвоеку со сторны, не так очевидно на сколько там всё актуально, там кажись последние изменения были в 2019 году.

Базовые вещи вполне нормально объясняются. А так - можно почитать Spark: The definitive guide например

спасибо. а после лучше кафку или кассандру?)

Дак это абсолютно разные вещи, для разных задач.
Если от балды выбирать одно из двух- я бы выбрал изучать кафку в первую очередь.
Она де-факто промышленный стандарт и много где используется.
А Кассандра это одно из десятка nosql решений

у меня конкретно три скилла эти нужны. ладно, запишу что не принципиально)

Плюсую предыдущее мнение, да
кафка много где юзаеться а кассандра, ну тоже конечно используется, но гораздо реже, и тут важно понимать насколько глубоко вам надо её понимать потому что просто туда писать спарком или через коннектор это одно а вот админить оптимизировать это совсем другое, тоже самое касается в целом и спарка и кафки