А
да, от batchsize зависит, но еще больше зависит от доп проверок на принимающей стороне
Size: a a a
2021 January 19
А
при батч загрузке нужно отключать индексы, fk, триггеры и констрейны
А
а лучше лить в staging, а потом делать exchage partition
NN
Eugene Chipizubov
Оффтоп. Fetchsize зависит напрямую от размера строки, тупо увеличивать не стоит.
Согласен
AK
Какой есть best practices извлечения json из string пайспарком?
ПФ
Какой есть best practices извлечения json из string пайспарком?
from_json?
AK
А ещё
AK
Когда мне неизвестна схема изначально
ПФ
Кажется, что всё остальное будет очень накладно
AK
Ну да) поэтому и спросил
ПФ
А как ты планируешь с ним работать?
ПФ
Вот нет схемы, но тебе же надо из него что-то извлечь как-то, видимо
AK
Я хочу в foreachbatch чекать схему
ПФ
Не понял
AK
Короче,есть pyspark streaming,есть foreachbatch,есть json со схемой данных.надо проверять приходящие сообщения из Кафки на то,что схема данных ок
ПФ
Ох. Кажется можно написать udf
ПФ
Но будет больно всё равно, конечно
ПФ
Можно написать на джаве и будет лучше
ПФ
Видимо это и есть правильное решение: Scala/Java UDF и работа с ним
AK
Или скала udf и потом заюзать в pyspark 😀