Size: a a a

2019 February 08

AA

Anton Alekseev in Moscow Spark
которые мне сыпятся
источник

ЕГ

Евгений Глотов... in Moscow Spark
Надо менять тех, кто сыпет каждый день в новой схеме...)
источник

AA

Anton Alekseev in Moscow Spark
Евгений Глотов
Надо менять тех, кто сыпет каждый день в новой схеме...)
Таблица жирная, если слать в одной схеме, то через длинную, а она будет избыточнее и весить больше (значительно). Вообщем меня уже в этом чате толкали на эту тему, но пока надо в такой кривинькой зато более лёгкой форме обработать))
источник

ЕГ

Евгений Глотов... in Moscow Spark
Откуда качаете?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Может напрямую можно
источник

AA

Anton Alekseev in Moscow Spark
csv формируется на клиентской стороне и после сбора заливается к нам в хранилище
источник

AA

Anton Alekseev in Moscow Spark
Мы только до csv имеем доступ. Поэтому и вертеть формат как нравится, тоже не получится, эти изменения только в следующем релизе заработают, если клиент еще и обновится.
источник

ЕГ

Евгений Глотов... in Moscow Spark
Эх, как обычно
источник
2019 February 12

S

Stanislav in Moscow Spark
Коллеги, в каких случаях дф успешно показывает show(), но падает на count() с нпе? Исходник - орс
источник

PK

Pavel Klemenkov in Moscow Spark
нпе - это что?
источник

AA

Anton Alekseev in Moscow Spark
НеПонятныйЕррор?
источник

AP

Alexander Piminov in Moscow Spark
NullPointerException
источник

PK

Pavel Klemenkov in Moscow Spark
Я подозреваю, что null pointer
источник

AP

Alexander Piminov in Moscow Spark
Схема всех ORC в каталоге одинаковая?
источник

S

Stanislav in Moscow Spark
Alexander Piminov
NullPointerException
Именно
источник

S

Stanislav in Moscow Spark
Alexander Piminov
Схема всех ORC в каталоге одинаковая?
В теории да
источник

ЕГ

Евгений Глотов... in Moscow Spark
В реальности всё не так, как на самом деле)
источник

ЕГ

Евгений Глотов... in Moscow Spark
А если в логи экзекутора зайти, вдруг там что-нибудь более внятное написано?
источник

S

Stanislav in Moscow Spark
Евгений Глотов
А если в логи экзекутора зайти, вдруг там что-нибудь более внятное написано?
Чтение орца. Следом эррор, нпе. Без уточнений
источник

SK

Sergey Karpov in Moscow Spark
spark для show просчитывает только 20 строк, а для count все, а какой-то ячейке битое значение
источник