АЖ
Оно же Ажур
Size: a a a
2020 June 08
AK
ЕГ
Оч круто, а дистр какой ?
Хдп конечно же
ЕГ
Хотя девопсы пилят свои тулзы для обновления кластеров, вместо амбари юи, например
ЕГ
И нужно уже вроде думать о поддержке на момент, когда хдп будет всё
С
Евгений Глотов
И нужно уже вроде думать о поддержке на момент, когда хдп будет всё
А когда он будет все?
ЕГ
Фиг его знает)
2020 June 09
АЖ
он уже все
S
Евгений Глотов
Развернули кластерок на 24пб)
Эт чтобы hwc работал хотя бы на уровне двойки по скорости что-ли? :)
ЕГ
Эт чтобы hwc работал хотя бы на уровне двойки по скорости что-ли? :)
Не пользуемся коннектором, он кривой
ЕГ
А вообще - у нас больше ста человек активно работает на кластере, ещё наверно сто изредка заходят
ЕГ
Так что коров на всех всё равно не хватает🤷♂
S
Евгений Глотов
Не пользуемся коннектором, он кривой
А зачем тогда вообще тройка?) даже спарк теперь нормально не обновить на ванильку в отличие от двойки
S
Евгений Глотов
Так что коров на всех всё равно не хватает🤷♂
Так оно может хадуп впилить и все бы лучше зажили) чай не каждый нет флоу лопатит
А
Подскажите, есть ли способ установить разные shuffle.partitions для 2 параллельно работающих запроса из одной сессии?
АЖ
а с целью?
ЕГ
Подскажите, есть ли способ установить разные shuffle.partitions для 2 параллельно работающих запроса из одной сессии?
Даже для последовательно работающих, вообще ни разу не получалось поменять этот параметр, такое ощущение, что он гвоздями к сессии прибит
А
а с целью?
Есть 2 независимых запроса с разным объемом данных, но недостаточных чтобы загрузить целиком кластер
А
Или лучше нафигачить много мелких файлов и задать всем по максимуму?
ЕГ
Или лучше нафигачить много мелких файлов и задать всем по максимуму?
От мелких файлов можно избавиться, сделав перед сохранением репартишен