AS
Евгений Глотов
Динамик ноль экзекуторов нельзя делать, потому что с нуля не заводятся обратно новые экзекуторы почему-то
там же есть параметр spark.dynamicAllocation.initialExecutors, но все равно драйвер надо удалять
Size: a a a
2020 August 27
ЕГ
там же есть параметр spark.dynamicAllocation.initialExecutors, но все равно драйвер надо удалять
Я про minexecutors, если он равен 0, у нас контейнеры закрываются все, и мы хотим выполнить джоб, а ресурсов в данный момент на кластере нет, то джоб стартует и будет висеть с 0 tasks running
AS
Евгений Глотов
Я про minexecutors, если он равен 0, у нас контейнеры закрываются все, и мы хотим выполнить джоб, а ресурсов в данный момент на кластере нет, то джоб стартует и будет висеть с 0 tasks running
если ресурсов нет, они же должны висеть в очереди yarn
ЕГ
Вот почему-то так не происходит
ЕГ
Если 1 экзекутор, то норм - джоб начинается на одном, дальше поднимаются другие
ИГ
Евгений Глотов
Если 1 экзекутор, то норм - джоб начинается на одном, дальше поднимаются другие
Не встречался с такой проблемой. В jupyter всегда открываю сессию с 0 minExecutors и 0 initial.
yarn ему всё выдает, когда выполняется job.
А когда не выполняется, то сессия висит с одним ядром под драйвер
yarn ему всё выдает, когда выполняется job.
А когда не выполняется, то сессия висит с одним ядром под драйвер
ПФ
Переслано от Паша Финкельштейн...
2020 August 28
AN
а зачем тебе хистори, есть же реалтайм
в client mode это можно сделать? у нас драйвер на отдельной тачке, и у меня чет не получается достучатся до rest ip
AS
Andrey N
в client mode это можно сделать? у нас драйвер на отдельной тачке, и у меня чет не получается достучатся до rest ip
у меня ноутбуки через yarn-client, сам рест доступен через прокси от ярна
AN
у меня ноутбуки через yarn-client, сам рест доступен через прокси от ярна
а можно какой то пример запроса в рест, клиентской джобы?
AS
Andrey N
а можно какой то пример запроса в рест, клиентской джобы?
http://node-master:8010/proxy/application_1585065637055_0349/api/v1/applications/application_1585065637055_0349/jobs
AN
оооо, спасибо огромное, я не понял что надо добавлять /proxy/application_1585065637055_0349/
SM
Всем привет
у меня таска валится с
как я понимаю это proto не может распарсить
валится на
в
и соответственно не может apply в
вот у меня вопрос такой
как можно обойти это с помощью Try или Option ?
чтобы у меня если e Success - идёт в
а если Failed - то чтобы log.info(ex.printStackTrace)
так работать будет?
у меня таска валится с
Caused by: shadeproto.InvalidProtocolBufferException: Protocol message contained an invalid tag (zero)
как я понимаю это proto не может распарсить
валится на
MessageEnvelop.parseFromв
val rdd = sc.binaryFiles(path, 10)
.map(_._2.toArray())
.map(MessageEnvelop.parseFrom)
.flatMap(e => MessageDto(e))
и соответственно не может apply в
MessageDto(e)вот у меня вопрос такой
как можно обойти это с помощью Try или Option ?
чтобы у меня если e Success - идёт в
e => MessageDto(e)а если Failed - то чтобы log.info(ex.printStackTrace)
так работать будет?
2020 August 29
ПБ
Привет! Скажите пожалуйста а вызывать spark submit с query нельзя? Надо обязательно писать jar?
N
Привет! Скажите пожалуйста а вызывать spark submit с query нельзя? Надо обязательно писать jar?
Попробуйте spark-sql
PK
Попробуйте spark-sql
Такой команды нет
PK
Привет! Скажите пожалуйста а вызывать spark submit с query нельзя? Надо обязательно писать jar?
Да нужен джарник или класс
PK
Ну либо питонячий модуль
DZ
Thrift server
N
Такой команды нет
Что странно, потому что она лежит в
${SPARK_HOME}/bin рядом с сабмитом и шеллом, проверил у себя на 2.3.1 и свежескаченной 2.4.6