TZ
После наполнения
Спасибо - попробую так
https://vc.ru/finance/203574-servis-dlya-analiza-dannyh-databricks-privlek-1-mlrd-ot-amazon-alphabet-salesforce-i-drugih
значит ли это, что датабрикс в гугле появится?
Size: a a a
2021 February 02
ПФ
Eugene Chipizubov
Слушай, что то дешево сходу сгенерить искусственный датасет не получилось
А если тот же датасет, но с порезанной песоналкой?
EC
А если тот же датасет, но с порезанной песоналкой?
EC
Немножко оптимизировал
EC
С
Сча качну, гляну
EC
Теперь описание:
В ноуте создаем два паркета, где воспроизводится проблема спарка, когда размер страницы в паркете больше 2GB.
Восстановить такой паркетник можно только из LocalFS+pyarrow(иногда перегрузка данных невозможна и терять данные не хочется)
На проблему наткнулся при использовании OrderBy - сквозная сортировка DF на выходе может на перекошенных данных создавать паркеты, где row_group_size больше 2GB. Нецелесообразно использовать orderBy на "широких" таблицах.
В ноуте создаем два паркета, где воспроизводится проблема спарка, когда размер страницы в паркете больше 2GB.
Восстановить такой паркетник можно только из LocalFS+pyarrow(иногда перегрузка данных невозможна и терять данные не хочется)
На проблему наткнулся при использовании OrderBy - сквозная сортировка DF на выходе может на перекошенных данных создавать паркеты, где row_group_size больше 2GB. Нецелесообразно использовать orderBy на "широких" таблицах.
EC
ISSUE для спарка не помню, где то был в закладках
ПФ
EC
Так, а тчобы оно сгенерировало битый файл что надо сделать?
Ноутбук выше
EC
50CPU ~40GB RAM надо
EC
осторожней
EC
попробую еще через minio его пропустить
С
Так
С
Eugene Chipizubov
Ноутбук выше
Он ломает колонку content
Если читать без неё то паркет читается
Если читать без неё то паркет читается
С
Теперь понять почему ломает из-за row_group_size
EC
научите дебажить спарк, ведро пива дам
ПФ
Eugene Chipizubov
научите дебажить спарк, ведро пива дам
У меня есть экспериментальный дебаггер для спарк джавы
ПФ
Но надо иметь локальное подключение к спарку