AC
Евгений Глотов
Запрос может генерироваться всё это время?
Вряд ли, так как take ко всем этим источникам очень быстро отрабатывает
Size: a a a
2020 May 21
ЕГ
Вряд ли, так как take ко всем этим источникам очень быстро отрабатывает
У меня запросы по 5 минут генерируются, там 50 джойнов
ЕГ
Сами таблички быстро читаются
AC
у меня 11 джойнов
ЕГ
у меня 11 джойнов
Быстро открывается вкладка sql?
AC
Евгений Глотов
Быстро открывается вкладка sql?
в GUI?
ЕГ
Да
AC
да
ЕГ
Хм, значит не в этом дело
МС
Добрый вечер! Подскажите, пожалуйста, где можно найти полный справочник по Spark SQL ?
M
Документация?
МС
Документация?
в официальной документации по SQL почти ничего нет.
МС
функции и операторы есть, а других конструкций нет
M
Михаил Семочкин
в официальной документации по SQL почти ничего нет.
Я про Java/Scala doc
МС
Я про Java/Scala doc
а там разве есть про SQL ?
M
Михаил Семочкин
а там разве есть про SQL ?
Вы про текстовый SQL?
МС
Вы про текстовый SQL?
Ну да
M
Тогда вам лучше изучить hive документацию, спарк в большинстве случаев её повторяет
МС
Тогда вам лучше изучить hive документацию, спарк в большинстве случаев её повторяет
Как раз хотелось изучить отличия :)
У нас часть работы происходит в Hive, а часть в Spark. И иногда натыкаемся на непереносимость кода.
У нас часть работы происходит в Hive, а часть в Spark. И иногда натыкаемся на непереносимость кода.
МС
Вот прямо сейчас интересует, в Spark SQL есть рекурсивные Common Table Expression ?
В Hive, увы, нет.
В Hive, увы, нет.