Size: a a a

2019 October 13

SS

Semyon Sinchenko in Moscow Spark
Евгений Глотов
А может какие-нибудь строки на пару гигов?
Да не, там же написано QueryExecution.toString и взрыв. Граф очень большой по ходу
источник

ТС

Тимофей Смирнов... in Moscow Spark
Евгений Глотов
А может какие-нибудь строки на пару гигов?
такого точно нету
источник

ЕГ

Евгений Глотов... in Moscow Spark
А 24 раза на однотипных данных?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Может как-нибудь туда пивот присобачить вместо джойнов?
источник

ТС

Тимофей Смирнов... in Moscow Spark
на одних и тех же
источник

SS

Semyon Sinchenko in Moscow Spark
Тимофей Смирнов
мне казалось что запрос не очень большой, несколько фильтров, groupby, join и это 24 раза
Ну кстати вот из-за 24х раз так и выходит скорее всего.
источник

SS

Semyon Sinchenko in Moscow Spark
Персисты-экшн-джойн-анперсист старых данных.
источник

SS

Semyon Sinchenko in Moscow Spark
И так по кругу, тогда взрываться не будет
источник

ЕГ

Евгений Глотов... in Moscow Spark
Да чаще всего такие вещи пивотом решаются
источник

ТС

Тимофей Смирнов... in Moscow Spark
Евгений Глотов
Может как-нибудь туда пивот присобачить вместо джойнов?
а что такое пивот ?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Какая логика джойнов?
источник

ТС

Тимофей Смирнов... in Moscow Spark
вырезается два разные куска данных и для каждого юзера в них считаются статистики и потом это джойнится по юзерам
источник

ЕГ

Евгений Глотов... in Moscow Spark
А статистики какие
источник

ЕГ

Евгений Глотов... in Moscow Spark
Одинаковые по группам?
источник

ЕГ

Евгений Глотов... in Moscow Spark
А 24 откуда
источник

ТС

Тимофей Смирнов... in Moscow Spark
Евгений Глотов
Одинаковые по группам?
да
источник

ЕГ

Евгений Глотов... in Moscow Spark
Наверняка фильтры на какие-то подгруппы есть
источник

ЕГ

Евгений Глотов... in Moscow Spark
Перед групбаем
источник

ТС

Тимофей Смирнов... in Moscow Spark
есть
источник

ЕГ

Евгений Глотов... in Moscow Spark
24 подгруппы?
источник