ПФ
Причём на них можно выполнить дистинкт и тогда, если повезёт, джойн выполнится броадкастом
Size: a a a
2021 February 12
ИК
Так вопрос в том что днные паркета джойнятся со справочником. И вот в результате джойна не понятно - есть данные или нет. Так в результате придется сохранять
Паша дело говорит!
ПФ
*не забыть закешировать данные до джойна
ПФ
** на дистинкте поди будет шафл, хз стоит ли оно того
NN
** на дистинкте поди будет шафл, хз стоит ли оно того
Будет, как пить дать
NN
Не делать так. Во всех случаях работало дольше или фейлилось. Персист только для небольших сложных планов с многократным использованием или, как мне недавно подсказал Григорий, если используются DF.checkpoint
А можно поподробнее про чекпоинт?
ИК
А можно поподробнее про чекпоинт?
можно, но вообще тут уже была дискуссия, щас поищу
ИК
вот начало, в инженерском чате
ИК
Переслано от Иван Калининский...
@pomadchin, раз уж пошло обсуждение, то в описании локальных чекпоинтов указывается executor storage. Что означает этот термин?
Механизм чекпоинтов нежный, но рекавериться можно после кила и рестора кластера. Как это сочетается одно с другим, или я не уловил сарказма?
Механизм чекпоинтов нежный, но рекавериться можно после кила и рестора кластера. Как это сочетается одно с другим, или я не уловил сарказма?
ИК
я думал, будет ссылка на оригинальное сообщение, ну можно поиском найти))
ПФ
ПФ
Фиг ли
NN
Спасибо, друзья
ИК
Фиг ли
F F F [^_^]
G
Ну в общем я об этом и говорил. Придется считать кунты на логике.
ПФ
Народ, а есть способ сделать count по оконной функции?
ПФ
То есть формально я понимаю что надо писать count.over
ПФ
Но как ей сказать что мне надо сделать count того, что у меня в данной строке и что искать это надо по окну?
А
Народ, а есть способ сделать count по оконной функции?
sum(count(*)) over(...) ?
ПФ
sum(count(*)) over(...) ?
А, блин, я понял что забыл синтаксис и на самаом деле мне, пооду надо нечто более сложное