TZ
В интернетах пишут что по умолчанию читать нельзя но есть кастыли помогающие это как сделать, но я к сожалению рабочий вариант не нашел ... мб есть идеи как быть ?
Size: a a a
2021 February 02
EC
А можешь мне прислать какой-нибудь маленький, если так можно сделать?
Слушай, что то дешево сходу сгенерить искусственный датасет не получилось
EC
сижу думаю, придется на udf что ли сначала в спарке создать
NN
Timur Zalimov
Инженеры, можно ли через Spark 2.3.1 читать транзакционные orc таблички ? Пробовал в лоб прочитать через table - df читается схему определяет но если делаешь show или save то падает с ошибкой inputFormat
А что за транзакционные орки? Я знаю только дельту с транзакциями, и то там паркетники.
EC
TZ
Типа есть транзакционные таблицы в hive, но что бы это поддерживалось нужен формат orc и там еще бэкетирование должно быть
EC
А можешь мне прислать какой-нибудь маленький, если так можно сделать?
EC
Время работы 11 минут для 50 строк )))) в один поток
AS
Timur Zalimov
Типа есть транзакционные таблицы в hive, но что бы это поддерживалось нужен формат orc и там еще бэкетирование должно быть
NN
Timur Zalimov
Типа есть транзакционные таблицы в hive, но что бы это поддерживалось нужен формат orc и там еще бэкетирование должно быть
А, точно, есть же такая тема. Пасиб.
AS
Timur Zalimov
Типа есть транзакционные таблицы в hive, но что бы это поддерживалось нужен формат orc и там еще бэкетирование должно быть
но мне казалось чтобы можно читать из спарка, достаточно провести сомпакт этих таблиц на hive
TZ
но мне казалось чтобы можно читать из спарка, достаточно провести сомпакт этих таблиц на hive
Ну вот люди пишут что да нужен компакт но я не разобрался как его юзать какой именно юзать минор мажор
TZ
и как часто компакт делать
TZ
типа таблица обновляется каждый день и мне каждый день перед этим делать alter table compact major ?
AS
Timur Zalimov
типа таблица обновляется каждый день и мне каждый день перед этим делать alter table compact major ?
Я в своё время так и делал, за ночь прогонялись таски, потом компактен
TZ
Я в своё время так и делал, за ночь прогонялись таски, потом компактен
типа каждый раз делать перед тем как читать собрался ?
Д
А если с hive зачитать таблицу ?
TZ
А если с hive зачитать таблицу ?
все ок - но мы работает в спарке
AS
Timur Zalimov
типа каждый раз делать перед тем как читать собрался ?
После наполнения
TZ
и spark.sql() не работает тоже падает с ошибкой