M
проблема датасетов в том что это черный ящик для каталиста
Size: a a a
2020 May 28
DZ
интересно, а как часто используются Dataset, по моей практике, если наберется 5%, то уже хорошо, rdd чаще используется
90% времени, когда у тебя табулар дата
AS
90% времени, когда у тебя табулар дата
когда у меня табулар дата, это 90% датафрейм, осталось услышать мнение остальных
DZ
когда у меня табулар дата, это 90% датафрейм, осталось услышать мнение остальных
Питон?
AS
Питон?
скала
DZ
Тогда странно, зачем антайпед использовать где его можно не использовать
DZ
Мы если идём в дф то на выходе все равно тк дс приводим, чтобы на рантайме не падало из-за кривых рук
T
Мы если идём в дф то на выходе все равно тк дс приводим, чтобы на рантайме не падало из-за кривых рук
+ ещё очень удобно поддерживать потому что весь контекст всегда под рукой
NK
проблема датасетов в том что это черный ящик для каталиста
Так датафрейм это всего лишь датасет с типом Row.
Т.е., получается что катаклист умеет работать только с Row?
Емнип это не совсем так
Т.е., получается что катаклист умеет работать только с Row?
Емнип это не совсем так
M
Так датафрейм это всего лишь датасет с типом Row.
Т.е., получается что катаклист умеет работать только с Row?
Емнип это не совсем так
Т.е., получается что катаклист умеет работать только с Row?
Емнип это не совсем так
Я про typed dataset, вот есть у вас лямбда с двумя энтити классами, и каталист уже не знает что ты с ними делаешь и что там можно оптимизировать
NK
Окей, да
M
тот же cogroup с key retriever который уже не знает что там за ключ по которому ты хочешь группировать даже если там просто один филд и соответственно не может опираться на то что данные уже пресортированны и разложены как надо
AS
Тогда странно, зачем антайпед использовать где его можно не использовать
банально проще, в zeppelin набросали, потом поубирали все лишнее, причесали, готовый spark-submit. Нет ресурсов выписывать все эти case class, да и типы не панацея, больше страдаем от самих данных (грубо говоря урлы вида https://ээээ, гораздо чаще попадаются чем 146).
DZ
банально проще, в zeppelin набросали, потом поубирали все лишнее, причесали, готовый spark-submit. Нет ресурсов выписывать все эти case class, да и типы не панацея, больше страдаем от самих данных (грубо говоря урлы вида https://ээээ, гораздо чаще попадаются чем 146).
В этом случае мб. У нас в прод не идут датафреймы. Юнит тесты намного приятнее с дс
DZ
банально проще, в zeppelin набросали, потом поубирали все лишнее, причесали, готовый spark-submit. Нет ресурсов выписывать все эти case class, да и типы не панацея, больше страдаем от самих данных (грубо говоря урлы вида https://ээээ, гораздо чаще попадаются чем 146).
Ну тут вам dq в помощь
AS
В этом случае мб. У нас в прод не идут датафреймы. Юнит тесты намного приятнее с дс
С этим сложнее, обычно это скорее интеграционые тесты, считываем файлы, проверяем на выходе.
Но есть и юнит-тесты, конечно с df не так удобно, но терпимо.
А что такое dq?
Но есть и юнит-тесты, конечно с df не так удобно, но терпимо.
А что такое dq?
DZ
Data quality
ПФ
делаете суппорт либу для спарка на основе java API?
Ближе к скале, чем к джаве, кстати 😊
Sa
Неllo
M
Ближе к скале, чем к джаве, кстати 😊
ну котлин это что-то между