спс, попробую

есть подозрение, что анализатор будет 3 часа думать, а потом спарк 10 минут считать

если сделать pivot без case, то анализатору будет проще?

не получится словарь в спарке сделать и избежать тысяч кейсов?

это как? можно подробней?

примерно также как ты в питоне словарь делаешь

если твою логику можно описать словарем и доставанием значения по ключу, то это наверное самый правильный вариант

цель разверунть строки в таблице клиентов в много-много колонок для каждого клиента (как сайнтисты любят). Не очень понимаю как тут словарь/ассоциативный массив может помочь..

а, ну пивот тогда

я делал именно такую штуку, из фактовой таблицы генерировал развертку на таблицу id + features. Pivot мне не подошел потому что мне нужны были дополнительные кастомные функции агрегации и фильтрации, то есть я генерировал такие кейсы:
- SUM(CASE WHEN C1="something" then X else null)
- CUSTOM_AGG(CASE WHEN C1="something" then X else null)

И так далее. Если хочется не перегружать анализатор, можно нарезать список кейсов на чанки, и с каждого чанка запускать отдельный фрейм, сбрасывать его на диск - и потом джойнить по ключу

спс, понял. Если будет плохо работать, попробую побить колонки на порции.
Вот думаю может еще jar файл сгенерить и запускать в бриксе уже его? Также запрос не будет анализироваться, а будет сразу запускаться?

Например через мапу - https://stackoverflow.com/a/33868315

это утверждение спорное, честно говоря, насколько я помню physical plan все равно построится в runtime

но я тоже не уверен, вроде была какая-то возможность кешить большие планы, но она только для Dataset API:
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-checkpointing.html

это что за спам?

прям активизировались в последнее время

у крипто миллионеров кризис, пытаются втянуть ну хоть кого-нибудь в их схемы)

Наоборот, они помогают заработать в кризис

Коллеги, можно ли локальный спарк подружить с авс дата каталогом, чтобы как метастор был? Из спарк шела хочу таблицы создавать и наполнять