PK
НУ в дата инженерах народу побольше, может и правда ответят. Я за плюрализм мнений )
Size: a a a
2020 July 16
АЖ
Привет, может кто сталкивался с такой проблемой: в обычном режиме ресурсы аллоцируются по требованию и после выполенения скрипта освобождаются, но при использовании broadcast и последующего выполнения broadcastObject.unpersist() в конце скрипта, спарк все равно оставляет на себе все ресурсы запрошенные во время исполнения скрипта, даже если ничего не выполняет, на данный момент решаю эту проблему закрытием спарк контекста и открытием его снова. Динамическая аллокация включена, версия спарка 2.4.0. Подскажите, пожалуйста, сталкивался ли кто-нибудь с такой проблемой и как ее можно решить, а то ресурсами на кластере не разживешься😔
Обратите внимание:
spark.dynamicAllocation.cachedExecutorIdleTimeout infinity
SM
hello everybody
у меня вопрос такой
в коде есть
куда он пишется?
в
а в консоли ничего не появляется
и
пишет что
у меня вопрос такой
в коде есть
log.infoкуда он пишется?
в
log4j.properties на log4j.rootCategory=ALL, consoleа в консоли ничего не появляется
и
yarn logs -applicationId <app_id> -appOwner <name>
пишет что
/app-logs/root/logs/<app_id> does not have any log files
AG
Обратите внимание:
spark.dynamicAllocation.cachedExecutorIdleTimeout infinity
Проверю, но вроде бы у меня 150s выставлено
АЖ
Проверю, но вроде бы у меня 150s выставлено
с spark.dynamicAllocation.executorIdleTimeout не путаете?
AG
А да, точно
АЖ
это две разные опции :)
AG
Спасибо за совет 👍
t
hello everybody
у меня вопрос такой
в коде есть
куда он пишется?
в
а в консоли ничего не появляется
и
пишет что
у меня вопрос такой
в коде есть
log.infoкуда он пишется?
в
log4j.properties на log4j.rootCategory=ALL, consoleа в консоли ничего не появляется
и
yarn logs -applicationId <app_id> -appOwner <name>
пишет что
/app-logs/root/logs/<app_id> does not have any log files
если на драйвере - то в лог драйвера, если на воркерах - в лог воркера
t
ток лучше явно укажи этот файлик в жава оптс
t
и при старте джобы подкладывай его везде
SM
если на драйвере - то в лог драйвера, если на воркерах - в лог воркера
А где находится лог на воркере?
По какому пути?
По какому пути?
t
куда направишь, туда и будет писать
t
воркер это обычное жвм приложение
t
и если класс extends Logging из интерналс спарка, то его можно логировать
t
в log4j.properties ток надо указывать log4j.logger.my.super.awesome.class=INFO
2020 July 21
BG
Привет всем! Я натыкался на вот, какую проблему. При переименовании таблицы в Hive через:
ALTER TABLE ... RENAME ...
- Я мог получить доступ к таблице по новому имени через всё тот же Hive, переименование происходило и в hdfs, но в Spark... там не всё так однозначно. По старому имени он не находил ничего. По новому находил таблицу с нулём строк. Это всё сохранялось и после REFRESH-ов и даже после перезапуска спарк сессии. Единственное, что помогало, это как-нибудь обновить старую или новую таблицу: что-то добавить или на место старой что-то перезаписать.
Из-за чего это происходит и как правильно с этим работать?
ALTER TABLE ... RENAME ...
- Я мог получить доступ к таблице по новому имени через всё тот же Hive, переименование происходило и в hdfs, но в Spark... там не всё так однозначно. По старому имени он не находил ничего. По новому находил таблицу с нулём строк. Это всё сохранялось и после REFRESH-ов и даже после перезапуска спарк сессии. Единственное, что помогало, это как-нибудь обновить старую или новую таблицу: что-то добавить или на место старой что-то перезаписать.
Из-за чего это происходит и как правильно с этим работать?
ЕГ
Привет всем! Я натыкался на вот, какую проблему. При переименовании таблицы в Hive через:
ALTER TABLE ... RENAME ...
- Я мог получить доступ к таблице по новому имени через всё тот же Hive, переименование происходило и в hdfs, но в Spark... там не всё так однозначно. По старому имени он не находил ничего. По новому находил таблицу с нулём строк. Это всё сохранялось и после REFRESH-ов и даже после перезапуска спарк сессии. Единственное, что помогало, это как-нибудь обновить старую или новую таблицу: что-то добавить или на место старой что-то перезаписать.
Из-за чего это происходит и как правильно с этим работать?
ALTER TABLE ... RENAME ...
- Я мог получить доступ к таблице по новому имени через всё тот же Hive, переименование происходило и в hdfs, но в Spark... там не всё так однозначно. По старому имени он не находил ничего. По новому находил таблицу с нулём строк. Это всё сохранялось и после REFRESH-ов и даже после перезапуска спарк сессии. Единственное, что помогало, это как-нибудь обновить старую или новую таблицу: что-то добавить или на место старой что-то перезаписать.
Из-за чего это происходит и как правильно с этим работать?
Переносил из одной схемы бд в другую? Посмотри в метаданные, там нихрена не изменилось, поэтому и не читает спарк🤷♂
ЕГ
Спарк сам запрещает перенос таблицы из одной схемы в другую, потому что сложно нормально это прописать в метаданные
BG
Внутри одной бд.