Size: a a a

2019 December 11

ЕГ

Евгений Глотов... in Moscow Spark
Dmitry Zuev
Что это за чудо метод то, что на скале его нет?
Да никакого чуда, просто самый простейший импорт иксджибуст, чтоб не переучивать 30 ДСов на скалу, так гораздо удобнее получается
источник

ЕГ

Евгений Глотов... in Moscow Spark
Но есть и очень интересные штуки на уровне последних статей в ДС, которые ну вот только на питоне, сорян)
источник

DZ

Dmitry Zuev in Moscow Spark
на уровне последних статей в ДС
каких?
источник

DZ

Dmitry Zuev in Moscow Spark
Semyon Sinchenko
Ariflow обычно вызывает bash-operator, а что там внутри кажется не важно. Ну а чтобы DAG-и писать, питон особо знать не надо, они пишутся по примерам. Просто если кто-то знает R, то можно использовать R для коннектов к Spark. Why not?
или того лучше KubPodOperator, а дальше хоть потоп
источник

SS

Semyon Sinchenko in Moscow Spark
Евгений Глотов
Да никакого чуда, просто самый простейший импорт иксджибуст, чтоб не переучивать 30 ДСов на скалу, так гораздо удобнее получается
Ну и в spark ведь тоже есть "import com.microsoft.ml.spark.lightgbm.LightGBMClassifier" и никаких особых сложностей
источник

ЕГ

Евгений Глотов... in Moscow Spark
Semyon Sinchenko
Ну и в spark ведь тоже есть "import com.microsoft.ml.spark.lightgbm.LightGBMClassifier" и никаких особых сложностей
Ограничивает функционал одной либой
источник

ЕГ

Евгений Глотов... in Moscow Spark
Я вам про одно, вы мне про другое)
источник

SS

Semyon Sinchenko in Moscow Spark
Ну и там же рядом XGboost есть
источник

ЕГ

Евгений Глотов... in Moscow Spark
Я не говорю, что спарк на скале плох и не нужен, я говорю, что спарк на питоне позволяет быстро впиливать интересный функционал, дописывая необходимый минимум своего кода для обвязок, и не городить сложную совокупность рест-сервисов или чего-то типа того
источник

ЕГ

Евгений Глотов... in Moscow Spark
Быстрее, проще, притягательнее, как тёмная сторона силы)
источник

SS

Semyon Sinchenko in Moscow Spark
Евгений Глотов
Я не говорю, что спарк на скале плох и не нужен, я говорю, что спарк на питоне позволяет быстро впиливать интересный функционал, дописывая необходимый минимум своего кода для обвязок, и не городить сложную совокупность рест-сервисов или чего-то типа того
Я не понимаю... Хачем городить rest-сервисы? Для чего?

Также быстро взял, впилил нужный функционал (и даже быстрее чем на питоне в ряде случаев), собрал jar и запустил. Или даже не собрал, а просто запустил из Zeppelin
источник

SS

Semyon Sinchenko in Moscow Spark
Что такого можно сделать со Spark DataFrame быстрее на питоне?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Дсы работают на питоне, не хотят они ваш джар собирать)
источник

AA

Anton Alekseev in Moscow Spark
Евгений Глотов
Дсы работают на питоне, не хотят они ваш джар собирать)
+
источник

SS

Semyon Sinchenko in Moscow Spark
Я DS, я работаю на scala... ЧЯДНТ?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Им подавай .toPandas()
источник

DZ

Dmitry Zuev in Moscow Spark
Евгений Глотов
Но есть и очень интересные штуки на уровне последних статей в ДС, которые ну вот только на питоне, сорян)
какие статьи то?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Semyon Sinchenko
Я DS, я работаю на scala... ЧЯДНТ?
Тогда вопросов нет, к вам навстречу не пошли - вы пошли навстречу к ним)
источник

DZ

Dmitry Zuev in Moscow Spark
Евгений Глотов
Дсы работают на питоне, не хотят они ваш джар собирать)
пусть работают, тут не было уточненйи дсы или нет.Вы опять говорите что только питон нужен, а потом соскакиваете что ДС ПИТОН
источник

ЕГ

Евгений Глотов... in Moscow Spark
Dmitry Zuev
пусть работают, тут не было уточненйи дсы или нет.Вы опять говорите что только питон нужен, а потом соскакиваете что ДС ПИТОН
Я не говорил, что прям обязательно нужен только питон)
источник