GP
ну можн
Size: a a a
2021 April 30
NN
Все, пилим?
NN
@asm0dey у тебя ж там свой форк спарковый?
ПФ
Ни в коем разе. Я поверх Спарка ванильного и работаю на любом спарке
ПФ
Просто сабмитишь джоб, написанный на котлине и всё
ПФ
Но я реально думаю что это достижимо и мне жаль что я мало чего понимаю в обучении сеточек
NN
Ну это я к тому, что такое решение хрен впилишь к ним
ПФ
Это просто лиснер датафрейма
ПФ
Примерно как dq
ПФ
При изменении данных придётся пересчитывать правда
ПФ
И при изменении логики тоже
NN
Там и более примитивные вещи типа виртуалэнва висят годами
NN
Которые тот же хдп впилил несколько лет назад
ПФ
Ну это внешняя игрушка, её не надо встраивать в Спарк. Кстати, можно начать с включения логов gc и их анализа
GP
жалко что эт не так часто нужно
GP
оно нужно когда все остальное уже понятно
ПФ
Ну как. Логику написать просто, а как правильно задеплоить?
GP
да не
GP
тунинг гц ж впоследнюю очередь делается
GP
я про это