ES
Это я видел, да. Мне хотелось бы что-то именно для pandas_udf против функций, написанных на Java, а потом зарегистрированных в python-коде. Что-то такое.
Size: a a a
2018 July 19
ЕГ
В идеале на пандасе должно быть быстрее, потому что там же всё на си
ЕГ
Ну, кроме apply с куском питоновского кода)
AS
Вот версия как раз 2.2, где их ещё нет. Кстати, про pandas_udf тоже у меня есть вопрос. Какие-нибудь бенчмарки есть у кого-нибудь, где сравнивались бы pandas_udf и вот использование самописных Java-функций в python-коде? Или использование Java-функций в python-коде - это wrong way? Просто весь код переписывать на Java не хочется, потому что на python вроде как разработка быстрей, кода меньше (да и просто опыта больше). Но отдельные места хотелось бы ускорить, поэтому вот ищу варианты.
PK
Евгений Глотов
В идеале на пандасе должно быть быстрее, потому что там же всё на си
Ну, дело не столько в си, а в arrow. По факту не происходит копирования данных из jvm в питоновский процесс, память просто мапится через arrow. А основной оверхед в udf, все же, на сериализацию-десериализацию
ЕГ
Ну, дело не столько в си, а в arrow. По факту не происходит копирования данных из jvm в питоновский процесс, память просто мапится через arrow. А основной оверхед в udf, все же, на сериализацию-десериализацию
Я имел в виду, что не только джаватупитон не происходит, но и сами математические операции производятся на си, что должно приводить к ускорению - отсутствие мэнэджед памяти, всякие там avx-оптимизиции
ЕГ
Хотя какая разница, если построение графа выполнения запроса выполняется 15 минут)
DU
Хм, а почему так долго?
ЕГ
3500 колонок)
ЕГ
50 джойнов)
DU
Круто, ну и запрос наверное не быстро выполняется )
ЕГ
Ну часок-два)
ЕГ
В зависимости от числа свободных ядер)
DU
А это что за задача, где такое требуется ?
GP
Евгений Глотов
Я имел в виду, что не только джаватупитон не происходит, но и сами математические операции производятся на си, что должно приводить к ускорению - отсутствие мэнэджед памяти, всякие там avx-оптимизиции
В случае джава ту питона можн жнай использовать а не гейт
GP
будет не так ловко как эроу конечно
GP
но мем копи он деманд
ЕГ
А это что за задача, где такое требуется ?
Витринка для xgboost)
2018 July 20
R
тихо и незаметно вышел hdp 3.0.0
R
