FL
А, это было у MapReduce, число input split'ов на маппер
Size: a a a
2018 July 02
FL
Чёрт
AK
хачили Спарк чтоб он blacklist делал на тупых executors
AK
а Амазон любит давать полу-битые ноды
ЕГ
хачили Спарк чтоб он blacklist делал на тупых executors
У нас так один раз все экзекуторы оказались в блэклисте, и в итоге ничего не работало)
ЕГ
В запилине общая сессия когда висела на всех, перезапуск с изменением конфига конечно помог)
AK
У нас норм летело. Обычно при поднятии 200 нод примерно 1-3 были битые, мы их быстренько блеклистили и работали дальше
PK
А, это было у MapReduce, число input split'ов на маппер
Это тут при чем? Так и динамичесукю аллокацию контейнеров можно назвать тем, что тебе нужно.
PK
Ну, кстати, да. Возможно это и есть то, что тебе нужно
SK
Всем привет. Подскажите, пожалуйста, а как правильно реализуется обновление статичных объектов в spark structured streaming? Например если есть Pipeline c МЛ моделью или реддко обновляемый паркет.
PK
Всем привет. Подскажите, пожалуйста, а как правильно реализуется обновление статичных объектов в spark structured streaming? Например если есть Pipeline c МЛ моделью или реддко обновляемый паркет.
Ты имеешь в виду, как обновить пайплайн, не перезапуская джоб?
SK
да. у меня есть спарк джоба в которой используется МЛ модель с предиктом. Спарк стримминг крутится. Нужно как-то обновить модель
SK
или в таких случаях перезапускают стримминг?
PK
Не знаю способов динамического изменения дага, думаю, что только перезапуск.
DU
А план там вроде на каждый микробатч пересчитывается, проблема я так понимаю как статическую таблицу обновить
K
SK
Dmitry нет. спарк при запуске формирует даг и туда зашивает путь к модели. И каждый микробатч грузит туда модель (PipelineModel.load('hdfs://...')) по этому пути. Вопрос был в том, как изменить этот путь, после того как обучилась новая модель. Со статическими таблицами кажется что проще. потому что на каждый батч будет выполняться запрос к БД
AK
У меня тоже
AT
Dmitry нет. спарк при запуске формирует даг и туда зашивает путь к модели. И каждый микробатч грузит туда модель (PipelineModel.load('hdfs://...')) по этому пути. Вопрос был в том, как изменить этот путь, после того как обучилась новая модель. Со статическими таблицами кажется что проще. потому что на каждый батч будет выполняться запрос к БД
Почему бы не хранить путь в бд или банально в файле , и переписывать его когда модель новая обучилась - самое примитивное решение . Обычно всякие репозитории моделей придумывают с хитрой логикой ...
PK
Почему бы не хранить путь в бд или банально в файле , и переписывать его когда модель новая обучилась - самое примитивное решение . Обычно всякие репозитории моделей придумывают с хитрой логикой ...
Динамический путь никак не решит проблему обновления самого объекта-пайплайна.