Телеграмм чат группы moscowspark страница 341

Коллеги, всем привет, встречали ли вы когда-нибудь ситуацию, что приложение на spark засыпает? в 19:31 выполнился action count в течение 9.1 минуты, затем ничего не происходило час и десять минут и только потом spark продолжил работу. Никакого кода вне pyspark в этот момент там не работает. Он просто зависает на 1:10.

На драйвере что то считается

источник

11:14пожаловаться #12

KrivdaTheTriewe in Moscow Spark

Инфа 100%

источник

11:14пожаловаться #13

KrivdaTheTriewe in Moscow Spark

А в юайке это плохо отображается

источник

11:14пожаловаться #14

Anton Chern in Moscow Spark

Кстати, способ перенести каунт после считывания всех файлов не сработал. Так же зависало после каунта. Помогло дополнительное сохранение после всех join. А затем работа с оконными функциями после считывания из файла.

источник

11:18пожаловаться #15

Mi in Moscow Spark

Anton Chern

Предлагаю работать с хайвом не напрямую через драйвер, а через спарк с enableHiveSupport

источник

16:37пожаловаться #16

Grigory Pomadchin in Moscow Spark

Алексей

не, я имел ввиду, между @deordie_chat и @hadoopusers

полагаю временем создания

источник

16:42пожаловаться #17

Grigory Pomadchin in Moscow Spark

ну и тем что там привязано все к их сообществу

источник

16:43пожаловаться #18

2020 May 24

Ilya Vanin in Moscow Spark

Aleksandr Nikolaev

Да, у меня такое же предположение было. Как его решать?

@Volobyev , в итоге получилось обойти это ограничение, кроме как писать в отдельные директории напрямую в фс?

источник

15:06пожаловаться #19

Aleksandr Nikolaev in Moscow Spark

Ilya Vanin

@Volobyev , в итоге получилось обойти это ограничение, кроме как писать в отдельные директории напрямую в фс?

В итоге я ещё почитал, не помню какой подход сделал и мой интерес к этому иссяк. В итоге не полетело. Напрямую в директории не писал, сомневаюсь что так полетит

источник

23:11пожаловаться #20