S
Alexander Piminov
Схема всех ORC в каталоге одинаковая?
Хм, как бы проверить
Size: a a a
2019 February 12
R
spark для show просчитывает только 20 строк, а для count все, а какой-то ячейке битое значение
вы уверены, что orc при count пересчитывает каждую ячейку, а не берет данные из хедеров файлов?
НК
spark для show просчитывает только 20 строк, а для count все, а какой-то ячейке битое значение
В моем случае именно так и бывает. Или в функцию приезжает значение, которое оно не в состоянии обработать. Посмотри, на какое поле ругается
НК
Но обычно - битое значение в колонке.
S
Николай Корсаков
В моем случае именно так и бывает. Или в функцию приезжает значение, которое оно не в состоянии обработать. Посмотри, на какое поле ругается
Без поля. Грузит партицию и молча падает. Партиций на первый взгляд нормальная
НК
А ты все поля из орка забираешь?
S
Николай Корсаков
А ты все поля из орка забираешь?
Да
НК
Попробуй сделать каунт для какого-то конкретного поля.
S
Похоже какая то проблема поля. Без ограничений общее число получаю по полю. Но как только начинаю отбор, появляется нпе. Даже после приведения поля к одному типу
НК
Если конкретное поле на котором валится нашел, конвертни в стринг и зауникаль символы из него. Обычно что-то всплывает
S
Николай Корсаков
Если конкретное поле на котором валится нашел, конвертни в стринг и зауникаль символы из него. Обычно что-то всплывает
Спасибо, попробую
S
Хайв на этих же данных как экстернал тейбл работает корректно. Только спарк чудит (
AS
Хайв на этих же данных как экстернал тейбл работает корректно. Только спарк чудит (
может дело в версиях orc?
S
может дело в версиях orc?
Посмотрел, у меня свежие орс сменили схему. Всё равно правда не понимаю, почему все сыпется при касте
S
может дело в версиях orc?
Ты прав. Даже не так. Часть орс была закинута спарком, часть хайвом. Хайвовая часть сломала спарк
AS
Ты прав. Даже не так. Часть орс была закинута спарком, часть хайвом. Хайвовая часть сломала спарк
да, сам раз на такое натолкнулся, поэтому и запомнид
S
да, сам раз на такое натолкнулся, поэтому и запомнид
Спасибо)
ДК
Всем доброго вечера! Если есть у кого-нибудь опыт тюнинга sqoop версии "cloudera connecter для teradata", то буду благодарен если смодетк пояснить, чем отличается export с batch mode от export с fastload? Нашел про это 2 абзаца и пока суть не очень дошла...
2019 February 13
AA
Подскажите, не нагуглю, в чем проблема обращение к колонке через selectExpr, если колонка цифра as string (pyspark). Без переименования колонки в другую строку (типа "0" -> "User") выдает колонку "0" заполненную 0, для "User" все нормально, выдает значения из колонки. Поделитесь ссылкой, если сталкивались. Пример
df_old.selectExpr('0')
vs
df_old.withColumnRenamed('0', 'User').selectExpr('User')AA
Так естественно все работает
df_old.select('0')