DZ
Да, я не могу себе объяснить зачем
Size: a a a
2021 July 08
V
Привет. Может кто встречался с проблемой: внутри spark driver библиотекой hdfs (через outputStream) пишется файл и когда он достигает ровно 128 мб соединение закрывается и запись продолжает висеть. Ошибки не бросаются.
V
Могут быть настройки сервера или ещё что?
ПБ
Добрый день! Коллеги скажите пожалуйста , когда пишите where к полю с типом BINARY к строке кастуете?
TypeError: condition should be string or Column
это влияет на перфоманс? спасибо
TypeError: condition should be string or Column
это влияет на перфоманс? спасибо
A
второй блок не аллоцируется?
V
Похоже что нет.
A
подымите уровень логирования на org.apache.hadoop и посмотрите что за запросы уходили и где висит
A
такие ошибки на тест кластерах в 1-2 ноды видел, когда до уровня репликации догнать не могли, не хватало нод
N
Есть настройка в спарке binaryAsString
ПБ
спасибо щас поищу, а то когда кастую в строку
решил через hex(x["поле"]))
решил через hex(x["поле"]))
АМ
Коллеги, всем привет, подскажите плиз работаю в pyspark, нужно загрузить spark df в Clickhouse (размер примерно 5 млрд записей * 30 столбцов) , как это можно сделать? И могу ли я это сделать через pyspark или придется писать tsv файл и уже его в Clickhouse?
ПБ
через пандас пробовали?
ЕГ
Есть спарк кликхаус коннектор
АМ
Где-то слышал, что он медленный, не знаешь случайно для моего объема данных хватит?
ЕГ
Я им не пользовался пока, но в целом это не супер гигантский объём
АМ
А ето как?)
АМ
Понял, спасибо
V
Спасибо
NN
+
АК
Вопрос. Есть ли возможность работы с ванильным хадупом из C#. Что-то аналогичное библиотеки работы с озером данных Azure?