Size: a a a

2019 November 14

К

Какой-то Хмырь in sql_ninja
Serge Nazarenko 💻
Против:
1. Каждый ТБ стоит денег. А т.к. объемы растут - решение по лицензиям будет стоить все больше и больше
2. Подходит только для перелопачивания больших обьемов. Т.е. точечные запросы к большим таблицам - очень медленно.
3. Нужен очень сильный архитектор для проектирования модели данных, иначе - будет тормозить, т.к. индексов как таковых нет, а с проекциями придется работать очень аккуратно. Сносно летит на modern подходах - DV, AM, но их надо уметь готовить - соответствующий тулинг.
4. Уровень SQL ниже плинтуса - ни тебе процедур, ни рекурсии, ни коррелированных запросов. В общем при кривой модели все будет тормозить.
5. удаление и апдейт не умеет, точнее умеет, но очень медленно.
огромное спасибо!

а вы , я так понмаию, DWH -разработчик?
источник

К

Какой-то Хмырь in sql_ninja
Serge Nazarenko 💻
Плюсы: горизонтальное масштабирование, быстрые агрегаты, где-то 5х сжатие данных из коробки.
а за лицухи платишь по сжатым данным или нет?)))
источник

SN

Serge Nazarenko 💻 in sql_ninja
Какой-то Хмырь
огромное спасибо!

а вы , я так понмаию, DWH -разработчик?
Архитектор
источник

SN

Serge Nazarenko 💻 in sql_ninja
Какой-то Хмырь
а за лицухи платишь по сжатым данным или нет?)))
По сырым  ;)
источник

OM

Oleg Makarikhin in sql_ninja
Какой-то Хмырь
а за лицухи платишь по сжатым данным или нет?)))
у нас вертику хотели как-то халявную, афаик лицензирование идет по  объему без сжатия, если кластер то суммарно
источник

К

Какой-то Хмырь in sql_ninja
я чего интересуюсь, кажется мы скоро будем искать dwh-команду))
источник

SN

Serge Nazarenko 💻 in sql_ninja
Oleg Makarikhin
у нас вертику хотели как-то халявную, афаик лицензирование идет по  объему без сжатия, если кластер то суммарно
Совсем забыл - 1ТБ бесплатно в CE, до 3 нод
источник

К

Какой-то Хмырь in sql_ninja
я на вас рекрутерам нажалуюсь, сразу предупреждаю))
источник

К

Какой-то Хмырь in sql_ninja
ну в смысле, порекомендую
источник

OM

Oleg Makarikhin in sql_ninja
Какой-то Хмырь
я чего интересуюсь, кажется мы скоро будем искать dwh-команду))
прочитал как "скоро будем искать аниме команду"
много думал
источник

SN

Serge Nazarenko 💻 in sql_ninja
Какой-то Хмырь
я на вас рекрутерам нажалуюсь, сразу предупреждаю))
Боюсь не отпустят, но поконсультировать могу 😎
источник

К

Какой-то Хмырь in sql_ninja
Oleg Makarikhin
прочитал как "скоро будем искать аниме команду"
много думал
разыскиваются хикки и любители манги
источник

К

Какой-то Хмырь in sql_ninja
Serge Nazarenko 💻
Боюсь не отпустят, но поконсультировать могу 😎
ну от предложений еще никто не помирал))  спасибо!
источник

SN

Serge Nazarenko 💻 in sql_ninja
Какой-то Хмырь
при построении DWH данные льются обычно непрерывным потоком или загружаются пачками? или по-разному бывает?
Есть старая школа - батчи, т.е. ETL/ELT.
Сейчас все стараются переходить на стримы или очереди для обмена, в итоге на DWH микро-батчи прилетают.
источник

SN

Serge Nazarenko 💻 in sql_ninja
Какой-то Хмырь
ну от предложений еще никто не помирал))  спасибо!
Согласен 😉
источник

NP

Nick Proskuryakov in sql_ninja
Serge Nazarenko 💻
Есть старая школа - батчи, т.е. ETL/ELT.
Сейчас все стараются переходить на стримы или очереди для обмена, в итоге на DWH микро-батчи прилетают.
О а можно про второе немного подробнее
источник

К

Какой-то Хмырь in sql_ninja
т.е. например, у меня есть постгрес, из него надо потоком лить данные на скульный dwh. есть какое-то приложение, которое постоянно дергает данные из постгри, кладет в очередь, откуда их что-то забирает и кладет в dwh?

или там как-то  транзакционный журнал реплицируется как-то по-хитрому? просто мы так с помощью cdc из сиквела лили в оракл. тоже типа консолидация
источник

S

SN in sql_ninja
Nick Proskuryakov
О а можно про второе немного подробнее
Коротко: требуется разработчик, например, Python.
источник

IS

Igor Sergeichik in sql_ninja
Какой-то Хмырь
Понял, спасибо. И еще, я тае понимаю при консолидауии дпнных выгодно юзать polybase. Я пока про него не читал. В чем там разница с каким-нибудь ssis. Ну т.е. в ссис я могу перекачивать данные откуда угодно в сиквел. А в поли это как?
полибейз скорее всего ещё странный
по крайней мер в 17й версии был привередлив к типам данных
источник

SN

Serge Nazarenko 💻 in sql_ninja
Какой-то Хмырь
Понял, спасибо. И еще, я тае понимаю при консолидауии дпнных выгодно юзать polybase. Я пока про него не читал. В чем там разница с каким-нибудь ssis. Ну т.е. в ссис я могу перекачивать данные откуда угодно в сиквел. А в поли это как?
Polybase это не про консолидацию, а про организацию гибридного решения, что бы холодные данные дешевле хранить или как раз из озера подгружать, если понадобились.
источник