DZ
Ярн
Size: a a a
2019 December 26
K
если у тебя нет зависимости на какойниьудь емр то зачем тебе 2.11? но даже емр 6.0 уже на 2.12
пока есть зависимость на то что на джупитере 2.11
K
но я часть пайпалйнов планирую обновить в феврале
K
Может даже сразу на 2.13 если норм сборки будут
GP
Может даже сразу на 2.13 если норм сборки будут
это ты к тому, что только через пол года - год обновлять все будешь?
K
это ты к тому, что только через пол года - год обновлять все будешь?
нет конечно, это итеративный процесс
2019 December 27
M
Всем привет! Недавно тут обсуждали чтение из Терадаты Спарком. Вопрос такой - а запись в несколько экзекьюторов в Терадату кому-нибудь приходилось организовывать или это гиблое дело? У меня все в блокировках повисает периодически, потом понемногу разгребается, но очень долго.
ЕГ
Mikhail
Всем привет! Недавно тут обсуждали чтение из Терадаты Спарком. Вопрос такой - а запись в несколько экзекьюторов в Терадату кому-нибудь приходилось организовывать или это гиблое дело? У меня все в блокировках повисает периодически, потом понемногу разгребается, но очень долго.
Гиблое дело
ЕГ
Можно руками сделать запись параллельно в несколько таблиц, а потом слить результаты уже внутри самой терадаты
2019 December 28
С
Mikhail
Всем привет! Недавно тут обсуждали чтение из Терадаты Спарком. Вопрос такой - а запись в несколько экзекьюторов в Терадату кому-нибудь приходилось организовывать или это гиблое дело? У меня все в блокировках повисает периодически, потом понемногу разгребается, но очень долго.
Таблица мультисет или сет?
Юзай tdch заливка в Терадату больших данных занимает минуты
Юзай tdch заливка в Терадату больших данных занимает минуты
M
Мультисет. Tdch умеет паркетные файлы грузить в TD?
С
Mikhail
Мультисет. Tdch умеет паркетные файлы грузить в TD?
Да
2020 January 10
AA
Привет. Было у кого такое?
pyarrow.lib.ArrowIOError: read length must be positive or -1. Судя по https://issues.apache.org/jira/browse/ARROW-4890 падает в pandas udf из-за слишком большого количества данных. Кто как фиксил? Избавляться от udf на таком большом массиве или как предлагают в треде пересобрать arrow (Хотя у нас emr, это скорее всего не вариант).
PK
Anton Alekseev
Привет. Было у кого такое?
pyarrow.lib.ArrowIOError: read length must be positive or -1. Судя по https://issues.apache.org/jira/browse/ARROW-4890 падает в pandas udf из-за слишком большого количества данных. Кто как фиксил? Избавляться от udf на таком большом массиве или как предлагают в треде пересобрать arrow (Хотя у нас emr, это скорее всего не вариант).
Если дело реально в объеме данных, то можно батч для arrow уменьшить через spark.sql.execution.arrow.maxRecordsPerBatch
AA
Я так понял там переполнение инта, судя по треду в жире.
AA
Если дело реально в объеме данных, то можно батч для arrow уменьшить через spark.sql.execution.arrow.maxRecordsPerBatch
Ааа, понял, окей, можно попробовать
AA
Если дело реально в объеме данных, то можно батч для arrow уменьшить через spark.sql.execution.arrow.maxRecordsPerBatch
Не помогает, к сожалению. Судя по треду жиры, это проблема не батчей а буфера, который на 2гб.
PK
Anton Alekseev
Не помогает, к сожалению. Судя по треду жиры, это проблема не батчей а буфера, который на 2гб.
Буфер на 2 ГБ - это не максимальный ли размер партиции в Спарке?
AA
Буфер на 2 ГБ - это не максимальный ли размер партиции в Спарке?
Похоже что так - http://www.russellspitzer.com/2018/05/10/SparkPartitions/
AA
Но ошибка у arrow вылетает.