PK
Size: a a a
2018 July 26
K
Через ближайший?
Да
K
Ну первый осенний
PK
ME
А они часто проводятся? Я на августовский не смогу попасть, но хотел бы пообщаться.
PK
3 раза в год получается пока
S
на самом деле надежда у амазона в кубере есть, абстрагироваться от вендора оч круто было бы, печально что сам спарк на кубере ниоч на самом деле круто
А в чем проблема с спарком в кубе?
GP
А в чем проблема с спарком в кубе?
оомы (надо оффхип подбирать верный под каждый случай), кубер не предназначен для нагрузки в 100% каждой ноды своей (да даже 80%), невозможность выделения в юнитах кубера спу
GP
^ получается что спарк джоба это такой агрессивный вариант приложения на кубере которая интенсивно много спу отбирает (целые ядра) и много памяти
GP
я говорю про нативный спарк на кубере
GP
а не тот что хелмом развернут, который фактически стенделоун
S
Точно, я как-то пытался прикрутить цлимиты к Хортону, потом прочитал в доках: эта фигня не работает, даже не пытайтесь
GP
слимиты обязательно нужны но целочисленные
GP
ну шедулер просто сыроват пока)
S
А с мезосом опыта не было?
AP
А в чем это проявляется в случае амазона, например?
Довольно нетривиальные требования к security, IAM и monitoring уже привели к тому, что пришлось перебрать всю HDP на AWS до хитрых конфигураций и исходников. Рядом проект на EMR...нет уверенности, что с ним так получится 🙂
GP
А с мезосом опыта не было?
Мезос в этом плане стабильнее по моим ощущениям; работал без проблем) кубер был требованием из вне
2018 July 31
M
Всем привет! Есть в чате гуру apache airflow? Расскажите плз про сайзинг под него.
ES
ES
Вот такие же есть ребята.