AN
Евгений Глотов
Но можно написать несложный скрипт, который парсит url appmaster в ярне, потом парсит spark UI и получает время запуска последнего джоба, например
под простаивает я как раз и имел ввиду долгий период без джоб
Size: a a a
2020 August 27
AN
Евгений Глотов
Но можно написать несложный скрипт, который парсит url appmaster в ярне, потом парсит spark UI и получает время запуска последнего джоба, например
это похоже на то что нужно
AN
смысл в том что есть куча ноутов с открытыми сессиями, которые по тем или иным причинам незя закрывать, но они жрут минимальные ресурсы, хочется такие сессии вырубать
AS
Andrey N
ребята, есть ли возможность настроить ярн так, что бы он убивал сессии которые простаивают например 8 часов?
посмотрите в сторону настройки dynamic, он убъет все неактивные executors, потом уж через скрипт останавливайте driver
AS
Andrey N
смысл в том что есть куча ноутов с открытыми сессиями, которые по тем или иным причинам незя закрывать, но они жрут минимальные ресурсы, хочется такие сессии вырубать
это zeppelin? а как между собой разделены ноутбуки?
AN
Andrey N
это похоже на то что нужно
хотя парсить spark UI чет как то.... модет там есть какая нить апишка?
N
Andrey N
ребята, есть ли возможность настроить ярн так, что бы он убивал сессии которые простаивают например 8 часов?
AN
это zeppelin? а как между собой разделены ноутбуки?
не jupyter
AN
посмотрите в сторону настройки dynamic, он убъет все неактивные executors, потом уж через скрипт останавливайте driver
да у нас динамик как раз, но там параметр, minExecutors, не дает убивать прям все, оставляет хотя бы 1(
AS
Nikolay
он убъет просто по времени, даже если задачи сейчас выполняются
ЕГ
посмотрите в сторону настройки dynamic, он убъет все неактивные executors, потом уж через скрипт останавливайте driver
Динамик ноль экзекуторов нельзя делать, потому что с нуля не заводятся обратно новые экзекуторы почему-то
AS
Andrey N
хотя парсить spark UI чет как то.... модет там есть какая нить апишка?
https://spark.apache.org/docs/2.4.5/monitoring.html
но скрипт все равно писать придется, запоминать состояние каждого приложения
но скрипт все равно писать придется, запоминать состояние каждого приложения
ЕГ
Когда все ресурсы заняты, джоба стартует, получает свои 0 экзекуторов и радуется, что ничего не надо делать😆
AS
Andrey N
да у нас динамик как раз, но там параметр, minExecutors, не дает убивать прям все, оставляет хотя бы 1(
да, знакомо
AN
https://spark.apache.org/docs/2.4.5/monitoring.html
но скрипт все равно писать придется, запоминать состояние каждого приложения
но скрипт все равно писать придется, запоминать состояние каждого приложения
спасибо попробуем
AN
да, знакомо
да, беда беда прям(((
AN
https://spark.apache.org/docs/2.4.5/monitoring.html
но скрипт все равно писать придется, запоминать состояние каждого приложения
но скрипт все равно писать придется, запоминать состояние каждого приложения
history сервер не дает актуальной инфы для приложений в client mode(((
ЕГ
Запоминать состояние неприкольно как-то, по мне так проще юи попарсить, он не меняется особо
AS
Евгений Глотов
Запоминать состояние неприкольно как-то, по мне так проще юи попарсить, он не меняется особо
я сейчас рест посмотрел, через /jobs можно сделать, там есть когда отправлнео и когда закончена задачи, пробежаться по списку, получить макс и принять решение об уалении, так что можно и без состояния
AS
Andrey N
history сервер не дает актуальной инфы для приложений в client mode(((
а зачем тебе хистори, есть же реалтайм