Size: a a a

2021 February 26

ИК

Иван Калининский... in Moscow Spark
поток - в смысле поток данных
источник

GP

Grigory Pomadchin in Moscow Spark
Иван Калининский
там один поток, коллы не понадобятся))
а как же хеш будет в спарках у тебя высчитываться
источник

GP

Grigory Pomadchin in Moscow Spark
без вызова функции
источник

ИК

Иван Калининский... in Moscow Spark
так ведь тут даже не функция нужна, а чтобы по всему набору данных был посчитан хеш
источник

R

Renarde in Moscow Spark
Grigory Pomadchin
а jni коллы almost бесплатные, да
можно кстати arrow IPC для этого попользовать
источник

ИК

Иван Калининский... in Moscow Spark
а посчитанный его и из файлика можно взять, где бы ни лежал
источник

ИК

Иван Калининский... in Moscow Spark
Renarde
можно кстати arrow IPC для этого попользовать
arrow же на многих языках api предоставляет?
источник

R

Renarde in Moscow Spark
интересная кстати задумка - написать UDF на расте, и перебрасывать данные через arrow ipc из спарка
источник

GP

Grigory Pomadchin in Moscow Spark
Renarde
можно кстати arrow IPC для этого попользовать
да я кстати ну уверен что это быстрее намног будет
источник

GP

Grigory Pomadchin in Moscow Spark
Renarde
интересная кстати задумка - написать UDF на расте, и перебрасывать данные через arrow ipc из спарка
да! правда пока в спарке эроу это сериализация
источник

R

Renarde in Moscow Spark
Иван Калининский
arrow же на многих языках api предоставляет?
для rust точно есть
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Pavel Klemenkov
Это просто в облаках ваших пакеты по лапше рисовой ходят. У нормальных пасанов инфинибэнд )
вово, я так же хотел сказать
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
надо было авд порше брать
корвет! крышу открыл — снег свалился
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
а jni коллы almost бесплатные, да
/me подавился
источник
2021 February 28

M

Mi in Moscow Spark
Это ботов привалило?
источник

NN

Nordic Nordic in Moscow Spark
sam ti bot :)
источник

AA

Aleksandr Aleksandro... in Moscow Spark
Mi
Это ботов привалило?
Мне кажется это после вот этого сообщения
https://t.me/data_events/900
Telegram
Data online events & Moscow meetups
Что читать DE в телеге?

Сегодня подборка полезных TG-каналов для дата-инженера:

• Инжиниринг данных https://t.me/rockyourdata Канал Дмитрия Аношина, эксперта по BI. Автор также ведет курс datalearn.ru, где обучает дата-инжиниринг (бесплатно)
• Data Eng https://t.me/dataeng Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
• Moscow Spark https://t.me/moscowspark Чат московского community Apache Spark.
• DE or DIE Chat https://t.me/deordie_chat Чат сообщества DE or DIE, созданный дата инженерами. Поддерживают ребята из DoDo Engineering. Проводят митапы DE or DIE вместе с NewProLab
• Smart Data https://t.me/smart_data_channel Канал про Data Engineering, аналитику и данные.
• Я у мамы Data Engineer! https://t.me/ohmydataengineer
• Data online events & Moscow meetups https://t.me/data_events Очень полезный канал - все ивенты, связанные с данными
• Data jobs feed https://t.me/datajobschannel Канал с вакансиями в сфере обработки…
источник

IS

Ilya Slesarev in Moscow Spark
Да, это очень удачная реклама
источник

IS

Ilya Slesarev in Moscow Spark
После которой стало интересно, что вы тут обсуждаете про Спарк)
источник

GP

Grigory Pomadchin in Moscow Spark
Ilya Slesarev
После которой стало интересно, что вы тут обсуждаете про Спарк)
Всякие Спарко штуки
источник