PK
Да, про мист тоже огонь
Size: a a a
2018 July 04
ZM
или как вариант расскажи манагерам/продажникам, они отправят ребят сами
PK
или как вариант расскажи манагерам/продажникам, они отправят ребят сами
Только самих продажников не присылайте, будут посланы )
VC
как минимум все ссылаются что митап про спарк, а сервинг оно вообщем просто за мл модельки - там спарк сбоку припеку только ввиде враппинга моделей для реалтайм сервинга и усе)
2018 July 10
PK
Тем временем вышел Spark 2.2.2 http://spark.apache.org/releases/spark-release-2-2-2.html
Ничего особенного, maintenance release, но баги пофикшены, стабильность улучшена, обратно несовместимых косяков, судя по changelog нет. Так что можно спокойненько апгрейдиться.
Ничего особенного, maintenance release, но баги пофикшены, стабильность улучшена, обратно несовместимых косяков, судя по changelog нет. Так что можно спокойненько апгрейдиться.
ЛР
Тем временем вышел Spark 2.2.2 http://spark.apache.org/releases/spark-release-2-2-2.html
Ничего особенного, maintenance release, но баги пофикшены, стабильность улучшена, обратно несовместимых косяков, судя по changelog нет. Так что можно спокойненько апгрейдиться.
Ничего особенного, maintenance release, но баги пофикшены, стабильность улучшена, обратно несовместимых косяков, судя по changelog нет. Так что можно спокойненько апгрейдиться.
Рановато. Не?
2018 July 11
PK
Обновляться?
ES
Кстати, ребята. Такой вопрос. Допустим, я сделал векторные представления товаров. Потом получил векторные представления корзин покупателей, усреднив векторы товаров, которые есть в их корзинах. Теперь я хочу найти косинус между каждой корзиной и каждым товаром. И ещё я пишу на Питоне. Я могу сделать это только с использованием crossJoin или есть ещё какие-то опции, чтобы работало быстрей?
PK
В свое время Твиттер ворвался такой статьей https://blog.twitter.com/engineering/en_us/a/2014/all-pairs-similarity-via-dimsum.html
PK
Оно реализовано в columnSimilarities, попробуй
ЛР
Join если есть четкое условие соединения и вдовесок оба датасета одинаково партицированы будет быстро работать
PK
Join если есть четкое условие соединения и вдовесок оба датасета одинаково партицированы будет быстро работать
Только тут crossjoin, ему копартиционирование же не поможет
ЛР
Только тут crossjoin, ему копартиционирование же не поможет
Не внимательно прочитал.
ЛР
Не понятно зачем кросс join для этой задачи
ЛР
Нужно каждый товар в каждую корзину пихнуть?
SK
Взаимные расстояния, каждый с каждым
PK
Нужно каждый товар в каждую корзину пихнуть?
Тебе надо схожие товары по схожим корзинам распихать. Часто это делают подсчётом попарной близости всех со всеми и отсесением по порогу расстояния
ЛР
ЛР
Тогда да, партицилнирование не при чем