Телеграмм чат группы moscowspark страница 593

arrow пробовали использовать?

Пошел гуглить, спасибо)

12:51пожаловаться #1

arrow пробовали использовать?

arrow ускорит, но по памяти не даст выигрыша)

12:51пожаловаться #2

В 3 пайспарке arrow udf реализованы намного удобнее, чем в предыдущих, кстати

12:52пожаловаться #3

ПФ

arrow ускорит, но по памяти не даст выигрыша)

Мне кажется там даже будет пенальти по памяти, нет?

12:52пожаловаться #4

Мне кажется там даже будет пенальти по памяти, нет?

Не, речь идет про pandas udf

12:52пожаловаться #5

Они под капотом идут в arrow, но фактически это те же udf, просто быстрее

12:53пожаловаться #6

ПФ

Не, речь идет про pandas udf

Не, в смысле там всёё равно из натива в питон гонять

12:53пожаловаться #7

Не, в смысле там всёё равно из натива в питон гонять

Если ты про сериализацию, то там ее нет

12:54пожаловаться #8

Improve PySpark Performance using Pandas UDF with Apache Arrow

https://kontext.tech/column/spark/370/improve-pyspark-performance-using-pandas-udf-with-apache-arrow
Вот картинка

Spark

Apache Arrow is an in-memory columnar data format that can be used in Spark to efficiently transfer data between JVM and Python processes. This currently is most beneficial to Python users that work with Pandas/NumPy data. In this article, I'm going to show you how to utilise Pandas UDF in ...

12:54пожаловаться #9

ПФ

Improve PySpark Performance using Pandas UDF with Apache Arrow

https://kontext.tech/column/spark/370/improve-pyspark-performance-using-pandas-udf-with-apache-arrow
Вот картинка

Spark

Там есть конверсия лэйаута данных при любом раскладе же?

12:56пожаловаться #10

Andrey Smirnov in Moscow Spark

arrow ускорит, но по памяти не даст выигрыша)

а за счет чего ускорит, не из-за того, что не нужно лишний раз пиклы делать?

12:59пожаловаться #11

Там есть конверсия лэйаута данных при любом раскладе же?

Не понимать (

12:59пожаловаться #12

ПФ

Не понимать (

Ну у тебя есть данные в джавовой памяти, так? Теперь тебе надо как-то их превратить в питонячьи/сишные данные. Правильно?

12:59пожаловаться #13

Ух, слишком много вопросов, к которым я не знаю ответы)

13:00пожаловаться #14

Но звучит правильно

13:00пожаловаться #15

а за счет чего ускорит, не из-за того, что не нужно лишний раз пиклы делать?

Теория в моей голове гласит, что ускорение только за счет того, что не нужно делать сериализацию каждой строчки

13:01пожаловаться #16

Andrey Smirnov in Moscow Spark

на той диаграмме что вы сами скинули как раз пишется про double sterilization, в случае arrow этого нет

13:07пожаловаться #17

на той диаграмме что вы сами скинули как раз пишется про double sterilization, в случае arrow этого нет

Да, это про каждую строчку, которая в обычной udf в питоне будет сериализоваться

13:08пожаловаться #18

Andrey Smirnov in Moscow Spark

я так понимаю они хранятся уже во внутренней структуре самого арроу

13:09пожаловаться #19

ПФ

Но звучит правильно

ну вот если да — то конвертация данных есть, просто она в памяти происходит, а не через промежуточные слои