РА
можно рамдиск для промежуточных результатов запилить
Size: a a a
2019 October 03
РА
но Павел как раз это и имел в виду
EN
ок спасибо..
2019 October 07
M
Всем, привет! Поделитесь опытом, кто как мониторит consumer lag в стриминговых спарк джобах? Как я понимаю, стандартным способом Spark не коммитит оффсеты в Кафку, а сохраняет в checkpointLocation. Но как тогда правильно мониторить лаг консьюмера?
PK
Mikhail
Всем, привет! Поделитесь опытом, кто как мониторит consumer lag в стриминговых спарк джобах? Как я понимаю, стандартным способом Spark не коммитит оффсеты в Кафку, а сохраняет в checkpointLocation. Но как тогда правильно мониторить лаг консьюмера?
t
Лаг оффсетов можно считать через sq.lastProgress
t
Лаг времени - по полю времени из события
M
Имеется ввиду endOffset из lastProgress? И что с ним обычно делают? Пишут в отдельный топик Кафки через onQueryProgress и кастомный листенер?
t
Можно так, можно еще из данных эту инфу доставать
K
мы логируем это дело в листенерах
t
Ведь в дф из кафки есть оффсеты и т п
GP
Mikhail
Имеется ввиду endOffset из lastProgress? И что с ним обычно делают? Пишут в отдельный топик Кафки через onQueryProgress и кастомный листенер?
можно вручную коммитить и на коммите класть в отдельную табличку лог дополнительный
GP
в любом случае почти всегда хочется вручную комитить, ведь разумно проверить целостность стрима по завершщению операций, елси они не особо тривиальные
M
Всем спасибо! Будем пробовать листенер.
2019 October 09
AC
Всем привет! Подскажите пожалуйста куда копать: есть скрипт на pyspark и следующее распределение данных в процессе работы
AC
как бороться с shuffle в 200 гигов?
AC
AC
на последнем этапе
KS
напиши, что делаешь, но скорее всего у тебя каких-то ключей сильно больше, чем других
KS
null-ы тоже считаются