ЕГ
Так что пусть поддерживают)
Size: a a a
2021 April 26
ЕГ
Плюс есть ещё и аналитики, которые в 2к21 уже должны знать питон, но ещё не должны знать скалу)
ДД
Неиронично увидел такой код на последнем проекте. Много думал
ЕГ
Для нас это вполне норм - грузим пару лямов записей обучения в пандас, обучаемся, применяем на всех данных с помощью пандас юдф
АЖ
Но лучше бы они питон не знали
ЕГ
Лучше б создатель питона замутил всё на джаве, согласен)
ЕГ
А потом создатели либ)
2021 April 27
EM
Кроме jvm есть еще другой мир. Хорошо что есть выбор.
AS
Всем привет! Кто-либо сталкивался с проблемой конкурентной записи субпартиций несколькими спарк джобами/потоками по одному и тому же пути? Из-за того, что все потоки используют в качестве временного хранилища директорию с общим названием _temporary2, происходят конфликты потоков.
Схематично выглядит так:
https://www.outbrain.com/techblog/wp-content/uploads/2020/03/ad.jpg
Схематично выглядит так:
https://www.outbrain.com/techblog/wp-content/uploads/2020/03/ad.jpg
АА
Сталкивался, решил проблему тем что писал данные отдельно в подпапки. В конце задачи перемещал все файлы из подпапок, а подпапки удалял
N
+1. только подпапки могут не подойти, если hive смотрит на всю родительскую директорию /data/table. приходится городить что-то типа /data/interm/table/thread_100500
ЕГ
Надо использовать outputcommitter v2
AS
Просто вся фишка в том, что при записи используется динамический partitionOverWriteMode и отказываться от автоматического партицирования с историей не хотелось бы
AS
Имеете в виду
"mapreduce.fileoutputcommitter.algorithm.version", "2"
?
"mapreduce.fileoutputcommitter.algorithm.version", "2"
?
ЕГ
Да
AS
Спасибо!
ЕГ
Вот это включил, и стала работать параллельная запись, там как-то по-хитрому начинает создаваться темп, если основная папка уже забита другим процессом
ЕГ
Да и вообще вроде лучше тема
ЕГ
Для aws S3 особенно
ЕГ
Меньше CP