A
а shuffle partitions и default parallelism вступают в дело позже, по идее
Size: a a a
2021 June 18
NN
Так там вроде блок 128, не?
NN
Или, опять таки, опционально?
МК
вот я посмотрю, кстати, а то понадеялся на дефолты...
A
по дефолту с хадупа 2.0 - да, 128 вроде.
Но значение конфигурируемое
Но значение конфигурируемое
МК
не, все же блок в файле 128М, не 64... Да и все же как-то стохастично - вчера же еще раз его почитал - 4 партиции, до того - 7 партиций, может, что-то я такое до того сделал, вобщем, я бы расценил это как что-то временное, не уверенно воспроизводимое, так что думать об этом долго вредно (особенно в пятницу вечером)
2021 June 22
ПБ
Доброе утро, коллеги! Подскажите пожалуйста, почему спарк приложения такие нестабильные?
Куча ошибок, ярн не может выделить ресурсы, килл приложений, куча разных jar библиотек, проблемы с чтением блоков на с новых нод итд
Куча ошибок, ярн не может выделить ресурсы, килл приложений, куча разных jar библиотек, проблемы с чтением блоков на с новых нод итд
A
может дело не в спарке, а в том как вы это настраиваете и поддерживаете?
ПБ
Возможно ) но у нас несколько разных субд и с ними проблем не возникает , поставили и работает. А когда запускаешь спарк джобу , как лотерея, отработает или что то отвалится...
АЖ
СУБД в ярне?
A
опять же, никто не знает как вы ваш спарк готовите…..
у нас в ярне вот прямо сейчас запущено 2180 приложений (15789 контейнеров)
основная масса спарк
падения есть, но это обычно pyspark на отсутсвии модулей каких-либо, раз в 10-15 минут
со спарком это обычно вопросы guava и jackson встречаются
но на всё есть мануалы как ексклюдить их при сборке такие вещи
у нас в ярне вот прямо сейчас запущено 2180 приложений (15789 контейнеров)
основная масса спарк
падения есть, но это обычно pyspark на отсутсвии модулей каких-либо, раз в 10-15 минут
со спарком это обычно вопросы guava и jackson встречаются
но на всё есть мануалы как ексклюдить их при сборке такие вещи
A
и это совсем не пик в данный момент =)
АЖ
Ну я бы начал вопросы с ярна и хдфс
A
да, возможно там что-то намутили
A
вот так с ходу заявлять про нестабильность спарка или хадупа
ну не знаю
ну не знаю
t
++
t
в моей практике стабильные версии спарка, ярна и хдфс стабильны
ПФ
Звучит так, как будто Спарк тут вообще ни при чём. Убийстве контейнеров - это ярн или система могут быть, например, куча библиотек вообще непонятно почему, можно вы, например, не фэтджары сабмитите?
D
ну есть такое. какой-нить оракл будет работать и в снег и дождь не важно что там в датасете пришло, а со спарком мягко говоря сложнее. чуть перекошен датасет и здраствуй OOM
DT
Ну просто спарк сам по себе то довольно понятен