ПБ
Нет канеш, там звёзды шоу бизнеса встречаются )
а зачем звездам спарк? 😳 они и так нормально получают
Size: a a a
2020 September 25
PK
а зачем звездам спарк? 😳 они и так нормально получают
Деньги - брызги, а Спарк для души ))
ПБ
Деньги - брызги, а Спарк для души ))
так и запишем, Павлу деньги не нужны, он здесь по любви
С
Когда работа превращается в хобби для души тогда деньги не самое главное
DG
Тут вот говорят, что Спарк переписали на c++ и сделали норм векторизацию и получили x20
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
PK
так и запишем, Павлу деньги не нужны, он здесь по любви
У тебя неверная логика, но здесь я действительно по любви )
PK
Тут вот говорят, что Спарк переписали на c++ и сделали норм векторизацию и получили x20
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
Spark GPU на плюсах ;)
DG
Spark GPU на плюсах ;)
Почему? Там вроде и на cpu можно хорошо выжимать, если упороться в векторизацию. Спарк то толком не не использует. Я не копал глубоко, но кажется apache arrow это только для небольшого куска вычислений.
DG
Если даже целевой сторадж будет отдавать данные в apache arrow формате там уже должен быть буст какой то. А если ещё не конвертировать туда сюда...
PK
Почему? Там вроде и на cpu можно хорошо выжимать, если упороться в векторизацию. Спарк то толком не не использует. Я не копал глубоко, но кажется apache arrow это только для небольшого куска вычислений.
Но зачем, если есть GPU?
DG
Примерно так наверное говорили продавцы IBM mainframes)))
ME
Тут вот говорят, что Спарк переписали на c++ и сделали норм векторизацию и получили x20
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
databricks про это рассказывал на конфе летом
ME
но они говорили что только в своем облаке
ME
круто что теперь в azure движок их есть
AS
Тут вот говорят, что Спарк переписали на c++ и сделали норм векторизацию и получили x20
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
Это скорее не спарк, а даталейк
K
Тут вот говорят, что Спарк переписали на c++ и сделали норм векторизацию и получили x20
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
https://azure.microsoft.com/en-us/updates/accelerate-analytics-and-ai-workloads-with-photon-powered-delta-engine-on-azure-databricks/
Узнать бы как подобные расширения писать дл спарка
DG
Это скорее не спарк, а даталейк
Почему? Там вроде речь про native execution engine (если по ссылке в пост пройти).
ME
Почему? Там вроде речь про native execution engine (если по ссылке в пост пройти).
Ага, тут подробней есть https://www.youtube.com/watch?v=o54YMz8zvCY
PK
Примерно так наверное говорили продавцы IBM mainframes)))
Ну неее, это совсем другое )