С
@krivdathetriewe интересно кто быстрее
Size: a a a
2020 December 13
С
С
ПФ
Что-то не пойму что делать надо
2020 December 14
AA
Напомните пожалуйста, возникает проблема того что в какой-то момент (логику не уловил) падают операции над датафреймом, из-за обращения к отсутствующим колонкам (где-то в глубине плана). Но если, предварительно, сохранить и перечитать фрейм, то все работает, как решали подобную проблему? В чатике уже обсуждалось подобное, но не найду.
AA
Anton Alekseev
Напомните пожалуйста, возникает проблема того что в какой-то момент (логику не уловил) падают операции над датафреймом, из-за обращения к отсутствующим колонкам (где-то в глубине плана). Но если, предварительно, сохранить и перечитать фрейм, то все работает, как решали подобную проблему? В чатике уже обсуждалось подобное, но не найду.
2020 December 16
PK
Databricks targets Spark to become more Pythonish?
https://www.reddit.com/r/apachespark/comments/kdwi47/databricks_targets_spark_to_become_more_pythonish/?utm_medium=android_app&utm_source=share
https://www.reddit.com/r/apachespark/comments/kdwi47/databricks_targets_spark_to_become_more_pythonish/?utm_medium=android_app&utm_source=share
PK
In your face, скалалазы
DZ
Пора покидать мир ДЕ
АЖ
Databricks targets Spark to become more Pythonish?
https://www.reddit.com/r/apachespark/comments/kdwi47/databricks_targets_spark_to_become_more_pythonish/?utm_medium=android_app&utm_source=share
https://www.reddit.com/r/apachespark/comments/kdwi47/databricks_targets_spark_to_become_more_pythonish/?utm_medium=android_app&utm_source=share
ну вполне очевидный тренд
N
Вы же заинтересованы нагнать тут печали. Что там по существу ? Что они Спарк на питон перепишут ? Нет ... Не будет такого
PK
Nikolay
Вы же заинтересованы нагнать тут печали. Что там по существу ? Что они Спарк на питон перепишут ? Нет ... Не будет такого
Не, я не заинтересован ничего нагонять, просто новость увидел. По существу ничего нет, но интересный факт что Delta engine же на C++ написан. Понятно, что никто Spark со скалы переписывать не будет, но, кажется, что будущие архитектурные решения будут приниматься так, чтобы их можно было 1:1 имплементировать и в питоше.
AB
Я думаю доля испльзования скалы так уменьшилась в датабрикс за счет того что просто доля питона и скл сильно увеличилась)
AB
ну те пришло много других разрабов на этот фреймворк
AB
а не со скалы пересели на питон)))
PK
а не со скалы пересели на питон)))
А кто-то это утверждал?
AB
А кто-то это утверждал?
не утверждали но были пессимистические ноты)
PK
Да не, просто у датабрикс хороший маркетинг, который драйвит разработку. Они прям молодцы в этом плане
RD
Databricks targets Spark to become more Pythonish?
https://www.reddit.com/r/apachespark/comments/kdwi47/databricks_targets_spark_to_become_more_pythonish/?utm_medium=android_app&utm_source=share
https://www.reddit.com/r/apachespark/comments/kdwi47/databricks_targets_spark_to_become_more_pythonish/?utm_medium=android_app&utm_source=share
Koalas уже вроде готовят. Версия 1.0 была в июне
AB
Koalas уже вроде готовят. Версия 1.0 была в июне
слышал в третьем спарке завезли уже