ИК
Чувствую ответ "просто я говна нажрался"
нет, все же это scala, а не PHP
я в банке работаю))
Но тут все где-то работают, и у многих есть весьма глубокие знания внутренностей спарка, так что конкретно место работы не так уж существенно
Size: a a a
2021 February 20
ПФ
Правда в том, что у кого-то задачи сложнее и ограничения сильнее и им приходится лазить глубже внутрь
ПФ
нет, все же это scala, а не PHP
Спарк сложно иногда. Наверняка все тут видели эпичный тред о борьбе с холодильником с помощью спарка
ПФ
Это вот пример сильных ограничений
ИК
ну вот у меня сейчас задача решена и работает, но я вижу, что точно можно сделать лучше и это будет полезно - вот, делаю, разбираюсь
ВК
Спарк сложно иногда. Наверняка все тут видели эпичный тред о борьбе с холодильником с помощью спарка
я не видел. можно ссылку? :)
ПФ
ПФ
Всё смеются что инструмент неправильный и методы решения тоже, но правда а том, что задача с похожими вводными в другом юзкейсе вполне могла попасться дата инженеру. Так гигантская таймсерия из которой надо сделать выводы в условиях ограниченного размера памяти
ИК
в решении сильно не хватает pyTorch ^^
ИК
pyTorch всё делает лучше хД
ПФ
в решении сильно не хватает pyTorch ^^
Лёша Зиновьев написал про нейроночки, но ведь кто-то должен размечать данные тогда!
ИК
натренировать GAN, или что там у нас сейчас в тренде
ПФ
Я искренне считаю что вот в этом стеке технологий надо было просто на партиции по минуте или типа того, нормировать данные и посчитать
ИК
а, кластеризация каким-то EM-подобным алгоритмом и отсечка по достижении кластером критического размера
ИК
хаха, шутка
AS
ПФ
Интересно, а есть сейчас формат хранения, умеющий дельта-кодирование из коробки или надо руками?
AS
Лёша Зиновьев написал про нейроночки, но ведь кто-то должен размечать данные тогда!
кластеризация должна помочь, а она unsupervised
ПФ
кластеризация должна помочь, а она unsupervised
Об этом не подумал, да
ПФ
Блин сказать что нам нужно два кластера и он само всё сделает!