ДМ
Ага. Мы делаем permutation test, просто значения шаффлим внутри колонки и смотрим скор. Бывает он вырастает))
Size: a a a
2021 April 29
ДМ
Да походу тут материала на пару выступлений хватит, так что поделимся
R
самое веселое обычно начинается уже после обучения таких моделей на 10^4 фичей
например SLA на инференс <2 секунд и 10^4 фичей сложно совмещаются
например SLA на инференс <2 секунд и 10^4 фичей сложно совмещаются
R
ну и совсем класс - это распределенное дообучение на стримах с SLA на инференс <2 секунд - вот тут я вообще не видел готовых решений
ДМ
У нас пока не все так строго. Хотя я тоже без понятия, как такое решать. Хотя железками наверно можно закидать, главное табличку нормально на куски резать и успевать раскидывать по воркерам)
PK
Нет, они столько стоят из-за других людей.
PK
Зарплата нет. Но ведь я ещё и акционер ;)
AS
камон, карточки столько стоят из-за криптоманов эфирных, а не за этих матриц
2021 April 30
ПБ
Доброй ночи! Скажите пожалуйста, а спарк вообще прожорливый на ресурсы? Работаю с табличкой в сотни тысяч строк, отъел всю память и отработал за минуту.
Может не так готовлю?)
Может не так готовлю?)
GP
съест все что можно
GP
дай меньше съест меньше
ПБ
Тогда подает с out of memory
Может где калькулятр есть, объем данных к core mem?
Может где калькулятр есть, объем данных к core mem?
GP
калькулятор гдето есть
GP
у яцека чет было
GP
но оно не точно, дело в том что у всех разные данные
GP
рекомендую те сделать ехекуторы тонкими по ядру и малым колвом оперативы и постепенно увлеичивать чтоб понять в чем дело
GP
когда у ехекуторов много ядер тяжело рассчитать скок памяти они будут подтреблять, т.к. не ясно тчоно скок конкретно тасок и какая из их убивает
GP
(ну понятно что на момент падения плохо все я к тому что не так очиедвно как рассчитать параметры)
ПБ
Может ярн копать? А то кластер зеленый, а джобы сыпятся как яблоки
GP
зачем копать ярн, не понял