с кешом работает понятное дело

не назвал бы это костылем

а план какой

первые два с двумя селектами

а optimized logical - с одним

то есть это каталист

ну и физический разумеется тоже с 1 )

ну это не костыль, если у тебя не стримы и кешей других нет

здесь я не хочу кеш делать только из-за того, что спарк объединяет проекции

я имел ввиду через spark.sql.optimizer.excludedRules CollapseProject

с выключенным wholeStageGenом работает правильно даже без выключения CollapseProject

круто

Привет, может кто сталкивался с такой проблемой: в обычном режиме ресурсы аллоцируются по требованию и после выполенения скрипта освобождаются, но при использовании broadcast и последующего выполнения broadcastObject.unpersist() в конце скрипта, спарк все равно оставляет на себе все ресурсы запрошенные во время исполнения скрипта, даже если ничего не выполняет, на данный момент решаю эту проблему закрытием спарк контекста и открытием его снова. Динамическая аллокация включена, версия спарка 2.4.0. Подскажите, пожалуйста, сталкивался ли кто-нибудь с такой проблемой и как ее можно решить, а то ресурсами на кластере не разживешься😔

советую задать вопрос в другом паблике

В каком?

вот тут возможно смогут ответить на ваш вопрос

Спасибо

да не за что)

мне нравится что у нас везде одни и теже рожи)