AS
уже давно 11 поддерживется в мастере
в мастере <java.version>1.8</java.version>
Size: a a a
2019 December 04
GP
в мастере <java.version>1.8</java.version>
ну это сорс и таргет компилятора; они же хотят что бы спарк можно было пускать на 8+, а не на 11+
вот кстати дженкинс их https://amplab.cs.berkeley.edu/jenkins/view/Spark%20QA%20Test%20(Dashboard)/job/spark-master-test-maven-hadoop-3.2-jdk-11/
конфиг джекнинса тут сетится https://github.com/apache/spark/blob/master/dev/run-tests.py#L433
вот кстати дженкинс их https://amplab.cs.berkeley.edu/jenkins/view/Spark%20QA%20Test%20(Dashboard)/job/spark-master-test-maven-hadoop-3.2-jdk-11/
конфиг джекнинса тут сетится https://github.com/apache/spark/blob/master/dev/run-tests.py#L433
2019 December 05
SO
Привет.
Есть вопрос:
Есть Spark приложение, которое пишет в Postgres используя jdbc драйвер.
Сколько коннекшенов открывается на запись? == Количеству воркеров?
Есть вопрос:
Есть Spark приложение, которое пишет в Postgres используя jdbc драйвер.
Сколько коннекшенов открывается на запись? == Количеству воркеров?
GP
Привет.
Есть вопрос:
Есть Spark приложение, которое пишет в Postgres используя jdbc драйвер.
Сколько коннекшенов открывается на запись? == Количеству воркеров?
Есть вопрос:
Есть Spark приложение, которое пишет в Postgres используя jdbc драйвер.
Сколько коннекшенов открывается на запись? == Количеству воркеров?
думаю по кол-ву партиций
GP
https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html (поиск по
numPartitions по странице)SO
https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html (поиск по
numPartitions по странице)Ага, уже так и сделал
SO
Вы абсолютно правы:
The maximum number of partitions that can be used for parallelism in table reading and writing. This also determines the maximum number of concurrent JDBC connections. If the number of partitions to write exceeds this limit, we decrease it to this limit by calling coalesce(numPartitions) before writing.
The maximum number of partitions that can be used for parallelism in table reading and writing. This also determines the maximum number of concurrent JDBC connections. If the number of partitions to write exceeds this limit, we decrease it to this limit by calling coalesce(numPartitions) before writing.
2019 December 08
PK
Alibaba заоупенсорсила свою ML библиотеку для Flink https://github.com/alibaba/alink
GP
Alibaba заоупенсорсила свою ML библиотеку для Flink https://github.com/alibaba/alink
Они решили отомстить всему миру который пишет доки на англе
DZ
Есть ж дока
GP
Есть ж дока
да, есть
GP
ну я про первый язык
DZ
А ну, сто лет назад языком науки был русский.
Так что 学中文
Так что 学中文
2019 December 09
K
ну я про первый язык
По хадупу самый ценный источник знаний - китайские форума
R
Ещё бы, там список родившихся за вчера - бигдата.
IS
А ну, сто лет назад языком науки был русский.
Так что 学中文
Так что 学中文
Да ладно. Кюри, Тесла, Белл, Маркони, Рассел публиковали свои труды на русском? Прям интересно стало
DZ
Да ладно. Кюри, Тесла, Белл, Маркони, Рассел публиковали свои труды на русском? Прям интересно стало
Ок, был вторым языком. ~50 на английском, 22% на русском и 28 все остальные языки.
Но один из важных показателей важности русского языка можно считать джорджтаунский эксперимент
Но один из важных показателей важности русского языка можно считать джорджтаунский эксперимент
IS
Ок, был вторым языком. ~50 на английском, 22% на русском и 28 все остальные языки.
Но один из важных показателей важности русского языка можно считать джорджтаунский эксперимент
Но один из важных показателей важности русского языка можно считать джорджтаунский эксперимент
Интересный факт, спасибо
SS
Ок, был вторым языком. ~50 на английском, 22% на русском и 28 все остальные языки.
Но один из важных показателей важности русского языка можно считать джорджтаунский эксперимент
Но один из важных показателей важности русского языка можно считать джорджтаунский эксперимент
У меня отец старый доктор наук рассказывал, что раньше (в 70-е?) приезжаешь на конфу, там в кофе-холлах лежат журналы последние на русском и английском. А сейчас лежат на английском и китайском.
SK
Всем привет, может кто встречал, в parquet поле с значением
"" после сохранения храниться не как "", а как null, есть вариант как этого избежать? просто потом я пытаюсь вставить его в CH и тот естетвенно ругаеться на nullable поле