Телеграмм чат группы moscowspark страница 278

абстрактно - не знаю
вот ищу, есть ли возможность ускорить без вписывания гиперскана в юдф

13:46пожаловаться #1

Renarde in Moscow Spark

Stanislav

может есть готовая юдф

regexp_replace и regexp_extract ещё можно

13:46пожаловаться #2

пока я такое виделя в сообщениях от датабриксов

13:46пожаловаться #3

Renarde

regexp_replace и regexp_extract ещё можно

а что с ними не так?

13:47пожаловаться #4

нужно быстрее?

13:47пожаловаться #5

Renarde in Moscow Spark

Dmitry Zuev

а что с ними не так?

Это вопрос к @barloc 🙂

13:47пожаловаться #6

Dmitry Zuev

нужно быстрее?

да

13:47пожаловаться #7

scala?

13:47пожаловаться #8

да

13:48пожаловаться #9

тож интересно

13:53пожаловаться #10

Apache Spark - A unified analytics engine for large-scale data processing - apache/spark

судя по https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/regexpExpressions.scala

есть куда тюнить

GitHub

apache/spark

13:53пожаловаться #11

что конкретно? extract?

13:55пожаловаться #12

или replace?

13:55пожаловаться #13

они все на жава регэкспах

15:00пожаловаться #14

вроде так это видно из кода на гитхабе

15:00пожаловаться #15

видно, на что заменить то хочешь?

15:06пожаловаться #16

гиперскан из того, что на слуху

15:09пожаловаться #17

хммм

15:14пожаловаться #18

но там один полуживой биндинг к нему

15:16пожаловаться #19

биндинг можно и написать
вопрос как раз был, делал ли кто-то или видел на гитхабе такое
у меня в поиске в нулях такое