ПФ
Ну можно же посмотреть план выполнения и что происходит всё это время
Size: a a a
2021 May 29
ПФ
В целом мне звучит норм что он долго выполняется
AS
Ок. Понял. Просто, думал что что то не так. Hive же очень быстро должен отрабатывать запросы, вроде. 😊
ПФ
Почему это? Я никогда не видел чтобы он работал прямо быстро, например сравнимо с постгресом
ПФ
Ну и опять же, распредённая группировка скорее всего тупо упирается в огромное количество передачи данных по сети
ПФ
Шаффлы, прости господи
N
Мне кажется что тут явный перекос в данных. Посмотрите на длительность самого долгого таска и 75перцентиля
AS
Спасибо 😊
t
300 лямов за 2,5 часа это сколько ядер у джобы?
AS
Вроде, 4 ядра
t
а памяти у воркеров?
ПФ
Подожди, вот допустим там 1000 ядер и 100 машин. Это будет работать адски медленно же всё равно
AS
Хз 🤷♂️
ПФ
Даже если данные не перекошены
ПФ
Потому что тебе придётся пересылать со всех машин на все по сути
t
зависит от:
1) перекоса ключа
2) какой агрегат делается
3) spark.sql.shuffle.partitions
1) перекоса ключа
2) какой агрегат делается
3) spark.sql.shuffle.partitions
AS
Если читать данные из hive, обрабатывать их pyspark и потом сохранять в hive.
Разве это не буде Быстрее чем обычная sql база данных ?
Разве это не буде Быстрее чем обычная sql база данных ?
t
первый HashAggregate до шафла происходит
ПФ
Да, но вот поможет ли он - это вопрос )
AS
Можете ещё подсказать: насколько быстрее click house по сравнению с orc hive ?