Привет, а кто чем поднимал HDP на aws / gcp / azure?
Чем пользовались? cloudbreak, terraform + marketplace? anything else?
Поделитесь опытом:)

Привет!
На этих платформах есть haoop-on-demand, т.е. в AWS - EMR, в GCP - Dataproc, в азуре - тоже что-то - ими пользоваться предпочтительнее, для батчевых задач.
Cloudbreak - как я понимаю, требует лицензию?
terraform - может развернуть кластер в любом облаке, и это очень удобный инструмент, но не решает задачи развертывания HDP на нем. Может быть у него и есть маркетплейс для всего, но мне кажется приклеивать к нему установку HDP - лишнее, не в идеологии терраформа, как минимум.
Вообще, не знаю, стоит ли вкладывать время в автоматизацию развертывания кластера на HDP. Куча усилий, чтоб получить спарк 2.3? Я бы сейчас смотрел в сторону arenadata, кажется читал хорошее об автоматизации сборки и развертывания диструбутива

Во времена оны и ansible годился:
https://github.com/sherman/hdp (там правда для vagrant). Но тераформ наверное поудобнее будет.

А можно неожиданных вопрос?

Нет ли у кого-нибудь хорошей подборки данных (обезличенных, тестовых или из публичных источников) для иллюстрации работы графовой бд?

Типа, какой-нибудь архив транзакций между юр.лицами, в которых можно фрод поискать. Или участие в публичных тендерах. Или связь компаний-руководителей-бенефициаров, чтоб на графе можно было б показать эти связи и аналитику сверху построить... Ну или любая другая подборка данных, которая лучше всего анализируется именно графами, а не классическими плоскими табличками.

Сорри за оффтопик...

Привет, никто не знает каких-нибудь известных стратегий по разработке пайплана поддерживания исторической таблицы и акутальных значений по pk_id?
Историческая таблица, где будут храниться записи о любом изменении поля

Можно обойтись банально двумя таблицами historical и current и раз в день какой обновлять её через SQL

в классических бд есть такие паттерны: https://en.wikipedia.org/wiki/Slowly_changing_dimension