PK
Очень сложно было разорваться между тремя митапами, к сожалению(
Мы, clickhouse и de or die?
Size: a a a
2020 October 01
SO
Мы, clickhouse и de or die?
Спарк, DE or Die и у нас Х5 школу аналитики презентовала
Sa
Спарк, DE or Die и у нас Х5 школу аналитики презентовала
Война за зрителей)
2020 October 02
А
А был обзор новых возможностей 3 спарка? Или я пропустил
N
Только про спарк на гпу. Интересный доклад был
A
на spark summit были обзоры 3
ПБ
Доброе утро! Как думаете для спарка лучше изучать котлин или все таки dotty/scala?
DG
Доброе утро! Как думаете для спарка лучше изучать котлин или все таки dotty/scala?
Для спарка лучше изучать спарк, а писать на DF или SQL. Ну и я бы отранжировал так наверное Питон используют чаще чем Scala, Scala чаще чем Java, Java чаще чем Kotlin.
RI
Доброе утро! Как думаете для спарка лучше изучать котлин или все таки dotty/scala?
Python/Scala
A
dotty еще непонятно, когда наступит (вспоминаем историю с perl)
AS
Доброе утро! Как думаете для спарка лучше изучать котлин или все таки dotty/scala?
учи скалу, kotlin для спарка в дикой природе не встретить, только если не хочешь в jetbrains пойти допиливать big data tools
L
Здравствуйте! Подскажите, пожалуйста, есть ли у спарка какой то способ задать максимальный размер выходных файлов? Пока пользуюсь repartition на число зависящее от количества и размера строк, но это вызывает ощущение костыля.
VM
Подскажите а как добраться до автора https://medium.com/@eugene_lopatkin/apache-spark-integration-testing-32d9aa9860be ?
А
Здравствуйте! Подскажите, пожалуйста, есть ли у спарка какой то способ задать максимальный размер выходных файлов? Пока пользуюсь repartition на число зависящее от количества и размера строк, но это вызывает ощущение костыля.
option("maxRecordsPerFile", N)
АЖ
Подскажите а как добраться до автора https://medium.com/@eugene_lopatkin/apache-spark-integration-testing-32d9aa9860be ?
L
option("maxRecordsPerFile", N)
Спасибо!
BD
А я правильно понял из вчерашнего доклада, что котлин и спарк это проблема курицы и яйца - пока не будет много юзеров, официально язык не добавят, а пока его не добавят, естественно, широко он распространён не будет? Или же есть какие-то обходные пути, например, большое желание датабрикс добавить поддержку
ПФ
А я правильно понял из вчерашнего доклада, что котлин и спарк это проблема курицы и яйца - пока не будет много юзеров, официально язык не добавят, а пока его не добавят, естественно, широко он распространён не будет? Или же есть какие-то обходные пути, например, большое желание датабрикс добавить поддержку
Ну в целом проблема и правда есть, но можно попроовать набрать много юзеров без спарка и потом влиться.
ПФ
Не, если бы датабрикс хотел — мы бы уже были там.
AS
dotty еще непонятно, когда наступит (вспоминаем историю с perl)
We are, however, determined to have a Scala 3 release candidate before 2020 ends.