Полностью равномерно

А указывать колонки можно например перед .cache(), если за ним идёт много джойнов или группировок с этим ДФ, чтобы потом джойнить без шаффла

Вот бы мне 9тб в кэш положить (

чтоб > 18тб короч гоняло

А это для какого железа CPU vs GPU получается? один из главных вопросов это эффективность по price/performance имхо

еще 2 параметра забыл 🙂
потребление электричества и место в датацентре

Ну price у меня их включает не явно )

ну иногда уже пофиг на цену, коли производительность на ват и кубометр зашкаливает

Т4 мало жрет

P4, но жто неофициальный бенч. На следующем митапе, возможно, докладец сделаю

Я к тому и веду

Если вам лень смотреть, но интересно почитать комментарии с саммита (и гневно не согласиться) - заходите на огонек.

#spark #SparkAISummit Сегодня начинается Spark Summit + AI'20. На прошлом я был докладчиком https://databricks.com/speaker/alexey-zinovev

В этом году буду внимательно следить за треком по Deep Learning, а также кишочками Spark.

Ближайшие три дня буду тут делиться мыслями в режиме non-stop, под настроение.

Привет, а кто чем поднимал HDP на aws / gcp / azure?
Чем пользовались? cloudbreak, terraform + marketplace? anything else?
Поделитесь опытом:)

Привет!
На этих платформах есть haoop-on-demand, т.е. в AWS - EMR, в GCP - Dataproc, в азуре - тоже что-то - ими пользоваться предпочтительнее, для батчевых задач.
Cloudbreak - как я понимаю, требует лицензию?
terraform - может развернуть кластер в любом облаке, и это очень удобный инструмент, но не решает задачи развертывания HDP на нем. Может быть у него и есть маркетплейс для всего, но мне кажется приклеивать к нему установку HDP - лишнее, не в идеологии терраформа, как минимум.
Вообще, не знаю, стоит ли вкладывать время в автоматизацию развертывания кластера на HDP. Куча усилий, чтоб получить спарк 2.3? Я бы сейчас смотрел в сторону arenadata, кажется читал хорошее об автоматизации сборки и развертывания диструбутива

>На этих платформах есть haoop-on-demand, т.е. в AWS - EMR, в GCP - Dataproc, в азуре - тоже что-то - ими пользоваться предпочтительнее, для батчевых задач.
Я в курсе, да.
На одном из проектов заказчик хочет HDP конкретной старой версии

>Может быть у него и есть маркетплейс для всего, но мне кажется приклеивать к нему установку HDP - лишнее, не в идеологии терраформа, как минимум.
Ну вклеивать это в terraform не надо. Можно же поставить базовый HDP + Ambari, а дальше уже через Ambari пошли/поехали.