Ещё из интересного. В апстриме есть много изменений, которые не вошли в первый превью.

Support JDK 11 with Hadoop 2.7
Spark SQL will respect its own default format (i.e., parquet) when users do CREATE TABLE without USING or STORED AS clauses
Enable Parquet nested schema pruning and nested pruning on expressions by default
Add observable Metrics for Streaming queries
Column pruning through nondeterministic expressions
RecordBinaryComparator should check endianness when compared by long 
Improve parallelism for local shuffle reader in adaptive query execution
Upgrade Apache Arrow to version 0.15.1
Various interval-related SQL support
Add a mode to pin Python thread into JVM's
Provide option to clean up completed files in streaming query

Их хотят добавить в превью 2.

А external shuffle service не добавли пока?

Не добавили. Пока готовят пропозал. Но судя по всему, код будет хороший, потому как готовить будут ребята из Нетфликс, и, кстати, Убер и Палантир.

Всем привет. Подскажите, как вы пишите UUID из spark в clickhouse через jdbc драйвер?

👍👍

Кстати, вот уже второй раз вижу этот мем, и не понимаю.)) Откуда?))

картинка из аппарата для проверки зрения, видимо у вас зрение хорошее)

а я никак не пойму это спам или нет

Сорян, чатиком ошибся....

А вам спасибо, что поведали о чем это :))

привет, а как взять сэмпл из очень большой папки?

df = spark.read.json(source).limit(10000)

чето долго работает, мб за инференса схемы

df = spark.read.json(source).limit(10000)

Лимит не даст тебе репрезентативную выборку

Если схема не указана, то Спарк весь датасет вычитает для инференса схемы

если samplingRatio не указать

спс, со своей схемой быстренько отработало

А разве с 2.4 там не захардкожен сэмплинг?