M
может поможет
Size: a a a
2020 October 30
M
ну, по крайней мере не 0 должен возвращаться
JF
спасибо за вариант
JF
ИГ
замена значений и фильтрация
Попробуйте явно указать спарку о том, что в последнем Stage не нужно перечитывать весь набор данных: df.select(lit(1)).rdd...
AS
замена значений и фильтрация
так а что шафл вызывает, как уже сказали count этого не делает сам по себе
JF
так а что шафл вызывает, как уже сказали count этого не делает сам по себе
17:10:54 ERROR ShuffleBlockFetcherIterator: Failed to get block(s)
JF
к примеру
AS
еще раз, то что вы описываете, чтение, замена и фильтрация не должны вызывать шаффл
JF
JF
нет, я не говорю, что они вызывают
JF
count вызывает
JF
по стэктрейсу видно
JF
и в AM Yarn
JF
смотрю по таске, что у нее фейл, смотрю почему
AS
и count не должен, он может форсить его из-за того, что у вас где-то есть агрегация, join, и т.д., как выгялдит план выполнения?
AS
в spark ui смотрите
JF
я знаю где
JF
просто не хочу выкладывать в общий доступ
JF
а подскажите, пожалуйста, на что обратить внимание?