GP
да и если можно использовать спарк скуль не ясно зачем хайв тащить тогда
Size: a a a
2021 January 21
e
А что странного то?
Утверждается что клиент работает лучше чем ядро. Наверное очепятка
M
Утверждается что клиент работает лучше чем ядро. Наверное очепятка
Под ядром имеется в виду хайв что ли?
M
Нифига не понял
M
да и если можно использовать спарк скуль не ясно зачем хайв тащить тогда
А мне хайв скуль больше нравится, его можно и с православным мапредьюсом юзать
ПФ
Вопрос: почему spark sql может быть в десятки раз быстрее аналогичного запроса на df? Точнее на датасетах
DZ
Вопрос: почему spark sql может быть в десятки раз быстрее аналогичного запроса на df? Точнее на датасетах
Планы то где различаются?
ПФ
Не успел посмотреть, слишком быстро обрабатывается sql. Завтра посмотрю
GP
Не успел посмотреть, слишком быстро обрабатывается sql. Завтра посмотрю
интересное предложение)
ПФ
Ну блин, а что мне сказать. Сделаю чтобы история была и посмотрю в ней
ПФ
Но мне интересно теоретически, конечно
ПФ
Как понять что такое будет. Там простая агрегация на буквально пару сотен тысяч строк
e
Но мне интересно теоретически, конечно
ds принудительно распихивать данные по нодам ?
sql включает умного и делает все на одной ?
sql включает умного и делает все на одной ?
ПФ
Всё синглнод
K
план запроса нужно в обоих слуаех глянуть, там и будет ответ
ПФ
Так, зашёл в план выполнения запроса, понял что запрос с DS не просто в десятки раз долдбше выполняется, он просто не работает
ПФ
В смысле бесконечно висит
С
А из-за чего если не секрет?
ПФ
То есть csv просто не читается
ПФ
Да я вот не понимаю даже как дебажить