GP
я точно не помню апишку так что может ошибаюсь в сигнатурах, но +- такое тебе надо
Size: a a a
2020 November 10
t
спасибо, заработало!
t
❤️
GP
балдеж пальцем в небо
t
/**
* Returns a new copy of this encoder, where the
* given schema.
*
* Note that, ideally encoder is used as a container of serde expressions, the resolution and
* binding stuff should happen inside query framework. However, in some cases we need to
* use encoder as a function to do serialization directly(e.g. Dataset.collect), then we can use
* this method to do resolution and binding outside of query framework.
*/
* Returns a new copy of this encoder, where the
deserializer is resolved and bound to the* given schema.
*
* Note that, ideally encoder is used as a container of serde expressions, the resolution and
* binding stuff should happen inside query framework. However, in some cases we need to
* use encoder as a function to do serialization directly(e.g. Dataset.collect), then we can use
* this method to do resolution and binding outside of query framework.
*/
t
ну да
t
понятно)
G
Коллеги. Кто нибудь может дать ссылку на адекватное описание, с примерами, как грамотно использовать repartitioning?
GP
Коллеги. Кто нибудь может дать ссылку на адекватное описание, с примерами, как грамотно использовать repartitioning?
да у тебя всегда шафл на репартишоне; тут нет грамотного использования
// если ты про repartition
// если ты про repartition
G
Дк а как тогда оптимизировать чтение большой партиции ( в моем случае вообще партиции отсутствуют)
G
Просто пробовать и увеличивать безмерно объем памяти для executer тоже как то тупо
GP
а как у тебя могут отсутствовать партиции?
G
Да вот так грамотно мне выгружают данные на HDFS
G
Снапшоты в одну партицию.
G
Причем эту партицию переформировывают. так что даже к дате фалов не привязаться
ИК
Снапшоты в одну партицию.
Rdd - одна партиция? Это текстовый формат в гзипе?
ИК
Причем эту партицию переформировывают. так что даже к дате фалов не привязаться
Ладно, предположим, что имеется один файл, который читается в одну партиции rdd. В таком случае бесполезно даже в данных искать зацепки, потому что изначально это один таск и все преимущества распределенной системы сведены к нулю. Весь набор данных придётся читать и процессить последовательно.
Надеюсь, что такого нигде нет, и там хотя бы огромный паркет, который спарк легко прочитает и создаст rdd с множеством партиций не больше spark.sql.files.maxPartitionBytes.
Надеюсь, что такого нигде нет, и там хотя бы огромный паркет, который спарк легко прочитает и создаст rdd с множеством партиций не больше spark.sql.files.maxPartitionBytes.
G
Ну слава богу файл там не один
ИК
Нужно больше подробностей, repartition - тонкая тема. Основная тонкость - как бы избавиться от него))