ЕГ
А драйвер на одной из трёх висит
Size: a a a
2019 February 08
ЕГ
А, стоп
ЕГ
7 ядер
ЕГ
Виртуальных
AA
10 ядро - драйвер. Ты не задал ограничение в ярне по цпу, его можно жёстко задать.
yarn.scheduler.maximum-allocation-vcores
3 - это не то ограничение?
3 - это не то ограничение?
AA
Евгений Глотов
7 ядер
slave02:37502 RUNNING slave02:8042
Detailed Node Information :
Configured Resources : <memory:25000, vCores:3>
Allocated Resources : <memory:9216, vCores:7>
S
Anton Alekseev
yarn.scheduler.maximum-allocation-vcores
3 - это не то ограничение?
3 - это не то ограничение?
Вот только по умолчанию ресурсом, на который ярн ориентируется является памятт
S
А цпу можно переподписать
S
В некоторых случаях удобно
ЕГ
Ааа, надо же включить ЦПУ шедулинг
ЕГ
Если он выключен
AA
Евгений Глотов
Если он выключен
AA
А цпу можно переподписать
окей, почитаю
ЕГ
Не, это не то
ЕГ
В амбари всё это чутка попроще настраивается
AA
Евгений Глотов
да, помогло, теперь цифры совпадают, спасибо. Думал может это поможет побороть FetchFailedException в процессе работы таски, да что-то продолжает сыпаться.
ЕГ
Фетчфэйлед - может где-то доступов нет, connection refused?
AA
Евгений Глотов
Фетчфэйлед - может где-то доступов нет, connection refused?
ага
ЕГ
На этом наши полномочия всё, окончены)