Телеграмм чат группы moscowspark страница 538

2021 February 08

EC

Eugene Chipizubov in Moscow Spark

Возникает ситуация, когда таскаю списки, например партиций в драйвере

источник

20:04пожаловаться #1

AS

Andrey Smirnov in Moscow Spark

Gev

Народ. Скорее всего самый распространенный вопрос, но я никак не найду какой то универсальный ответ
Stage 59 contains a task of very large size (129 KB). The maximum recommended task size is 100 KB.
Повышаем количество repartitioning
Но где оно то число ? И как еще моно избавиться от этой ошибки раз и на всегда?

скорее всего перекос в данных, надо на них смотреть

источник

20:57пожаловаться #2

ИК

Иван Калининский... in Moscow Spark

Gev

Народ. Скорее всего самый распространенный вопрос, но я никак не найду какой то универсальный ответ
Stage 59 contains a task of very large size (129 KB). The maximum recommended task size is 100 KB.
Повышаем количество repartitioning
Но где оно то число ? И как еще моно избавиться от этой ошибки раз и на всегда?

Вообще, я к этому сообщению относился спокойно, хотя в нем иногда говорится об огромном превышении размера. Даже в гугл не пошёл смотреть, о чём это

Перекос вроде тут не при делах, потому что сообщение одно, тасков много. Скорее, это что-то про описание узла плана

источник

21:01пожаловаться #3

AS

Andrey Smirnov in Moscow Spark

Иван Калининский

Вообще, я к этому сообщению относился спокойно, хотя в нем иногда говорится об огромном превышении размера. Даже в гугл не пошёл смотреть, о чём это

Перекос вроде тут не при делах, потому что сообщение одно, тасков много. Скорее, это что-то про описание узла плана

у меня было при перекосе, полез сейчас в гугл, Jacek тоже про это пишет

https://stackoverflow.com/questions/43996615/what-to-do-with-warn-tasksetmanager-stage-contains-a-task-of-very-large-size

Stack Overflow

What to do with "WARN TaskSetManager: Stage contains a task of very large size"?

I use spark 1.6.1.

My spark application reads more than 10000 parquet files stored in s3.

val df = sqlContext.read.option("mergeSchema", "true").parquet(myPaths: _*)
myPaths is an Array[String...