GP
плюсую Павла
Size: a a a
2018 October 19
AT
Подскажите,а что именно не так? Если не секрет
MV
Подскажите,а что именно не так? Если не секрет
Ну вот да, хочу отзывы про шлаковость 😁 @pklemenkov
PK
Подскажите,а что именно не так? Если не секрет
Ну те тулы, которые я пробовал умеют только базовый функционал dq. Моды там посчитать, средние, стандартные отклонения. Инференса типов нет. Стат тестов на одиночные случайные величины нет, на совместные распределения нескольких случайных величин вообще нифига нет.
D
Вопрос по поводу Спарка 2.2
У нас все приложения запускаются с spark.sql.hive.convertMetastoreParquet=false. admin говорит что тогда срарк не сканирует все паркет файлы чтобы добыть метадату , а берет метаданные с метастора. Интересно знать какое значение у вас стоит?
У нас все приложения запускаются с spark.sql.hive.convertMetastoreParquet=false. admin говорит что тогда срарк не сканирует все паркет файлы чтобы добыть метадату , а берет метаданные с метастора. Интересно знать какое значение у вас стоит?
MV
Ну те тулы, которые я пробовал умеют только базовый функционал dq. Моды там посчитать, средние, стандартные отклонения. Инференса типов нет. Стат тестов на одиночные случайные величины нет, на совместные распределения нескольких случайных величин вообще нифига нет.
Спс!
AT
Ну те тулы, которые я пробовал умеют только базовый функционал dq. Моды там посчитать, средние, стандартные отклонения. Инференса типов нет. Стат тестов на одиночные случайные величины нет, на совместные распределения нескольких случайных величин вообще нифига нет.
Спасибо за ответ
2018 October 30
AA
Ребят, понимаю что вопрос не совсем по теме, но как продиагностировать почему крашится spark-submit если статусы: "yarn application state Accepted -> yarn application state running -> yarn application state Accepted -> failed". А не по теме поскольку, как я понял проблемы с yarn, который не выделяет ресурсы.
AA
Проверил, ресурсы свободны, других запущенных app нет.
AA
ну и таже петрушка при тесте hadoop jar экземплов, так что как таковой связи со spark и нет совсем)
t
Anton Alekseev
Ребят, понимаю что вопрос не совсем по теме, но как продиагностировать почему крашится spark-submit если статусы: "yarn application state Accepted -> yarn application state running -> yarn application state Accepted -> failed". А не по теме поскольку, как я понял проблемы с yarn, который не выделяет ресурсы.
running > accepted это обычно в приложении ошибка
t
посмотрите yarn logs -applicationId <id>
AA
посмотрите yarn logs -applicationId <id>
После того как переходит в статус Accepted из Running логи уже не может найти. так и должно быть?
AA
ну и в конечном итоге отвалилось по connection refused
t
Anton Alekseev
После того как переходит в статус Accepted из Running логи уже не может найти. так и должно быть?
нет
PK
Anton Alekseev
ну и в конечном итоге отвалилось по connection refused
На питоше код на спарке?
PK
Anton Alekseev
После того как переходит в статус Accepted из Running логи уже не может найти. так и должно быть?
Кажется в хадупе аггрегация логов отключена
AA
На питоше код на спарке?
Сабмитю jar спарковские примеры (KMeans)
AA
Кажется в хадупе аггрегация логов отключена
Они есть внутри одной апп для одного из контейнеров, для другого нет (2 создалось), это я на веб морде увидел. yarn не находит в консоли
ЕС
Веб-морде лучше не верить, а залезть физически на сервер и посмотреть