GP
Size: a a a
2021 May 30
GP
кластер = одна машина такая оч жирная с кучей ядер
С
Может там на 300 лямов записей лярд мелких файлов
С
PK
И все время уходит тупо, чтоб листинг сделать?
С
Легко
ЕГ
Корпоративный стандарт)
ЕГ
Час формируется джоб, час считается, час пишется (в тыщу партиций по 200 файлов)
GP
И пишется (код или ямлы) руками неделю
NN
Если один только листинг час занимает, тогда, наверное, пора айсберг прикручивать
ММ
мы написали компактор на Scala, который через df.rdd.map и кастомный Partitioner позволяет сливать кучу мелких файлов в каждой партиции в несколько крупных
ММ
и обертку над write, которая его вызывает. если запись выполняется слишком часто, то можно его вызывать отдельно, в какой-нибудь периодической джобе
NN
А как он у нас в Вики называется? Кажется, потребность назрела
ММ
запись конечно будет медленнее, т.к. внутри фуллсканятся все строки.
зато чтение ускоряется многократно. например, в одной крупной таблице до компактизации было 300к файлов по 1Мб, запрос по ним выполнялся 60 минут, после стало 3к файлов по 100Мб, время выполнения запроса уменьшилось до 1 минуты
зато чтение ускоряется многократно. например, в одной крупной таблице до компактизации было 300к файлов по 1Мб, запрос по ним выполнялся 60 минут, после стало 3к файлов по 100Мб, время выполнения запроса уменьшилось до 1 минуты
AK
Поделись ссылкой в рабочий чатик 😏
2021 May 31
AS
тарантул же, какой-то такой игнат, там же джава, тормозит
ПФ
Редпанда! Я ещё не придумал как на ней решить эту задачу, но наверняка как-то можно
AS
там наверное тоже есть стримы, можно как в кафке делать join и groupBy.
ПФ
Я думал они только основной API копируют