Size: a a a

ClickHouse не тормозит

2021 February 10

D

Dj in ClickHouse не тормозит
Max Vikharev
Смотрите, в итоге история такая:
1. Нам нужно подгружать измерения SCD в кликхаус. Размером сотни ГБ
2. Вы посоветовали  словарь с движком ssd_cache,
3. мы увидели проблему в том что словари по доке не уме/т подкачивать инкрементально обновления (по строкам)
4. Вы написали что есть недокументированная фича update_field
5. В итоге мой коллега Николая подрубился сюда в чат и мы выяснили что  update_field для ssd_cache не работает в приницпе.

В итоге получается что словарь не подходит как способ из коробки  подтягивать SCD в КХ инкрементально, Правильно мы понимаем?
#5 неверный вывод вообще. Я просто сказал сначала проверить инкрементальные обновления на hashed/sparse_hashed словаре (можно ограничить строки саб-сетом).
а потом уже разобраться с ССД кешем.
источник

D

Dj in ClickHouse не тормозит
Max Vikharev
Смотрите, в итоге история такая:
1. Нам нужно подгружать измерения SCD в кликхаус. Размером сотни ГБ
2. Вы посоветовали  словарь с движком ssd_cache,
3. мы увидели проблему в том что словари по доке не уме/т подкачивать инкрементально обновления (по строкам)
4. Вы написали что есть недокументированная фича update_field
5. В итоге мой коллега Николая подрубился сюда в чат и мы выяснили что  update_field для ssd_cache не работает в приницпе.

В итоге получается что словарь не подходит как способ из коробки  подтягивать SCD в КХ инкрементально, Правильно мы понимаем?
ну и тип UPDATED- int / epoch
источник

MV

Max Vikharev in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Для ssd_cache не должно работать. Это бессмысленно.
@dj_mixer сори, не вы. А вот уважаемый коллега сформулировал
источник

D

Dj in ClickHouse не тормозит
Max Vikharev
Смотрите, в итоге история такая:
1. Нам нужно подгружать измерения SCD в кликхаус. Размером сотни ГБ
2. Вы посоветовали  словарь с движком ssd_cache,
3. мы увидели проблему в том что словари по доке не уме/т подкачивать инкрементально обновления (по строкам)
4. Вы написали что есть недокументированная фича update_field
5. В итоге мой коллега Николая подрубился сюда в чат и мы выяснили что  update_field для ssd_cache не работает в приницпе.

В итоге получается что словарь не подходит как способ из коробки  подтягивать SCD в КХ инкрементально, Правильно мы понимаем?
хотя если сам Денни сказал то наверно так оно и есть.
придется велосипедить либо фича-рекуэст (
источник

D

Dj in ClickHouse не тормозит
Max Vikharev
@dj_mixer сори, не вы. А вот уважаемый коллега сформулировал
тогда вам велосипедить с CollapsingMergeTree и слать все обновления в КХ... на mysql уже есть engine под это (materializemysql). Для ПГ пока нет.
источник

DG

Denis Glazachev in ClickHouse не тормозит
Alexey Shcherbakov
После консультации с админами диагноз, что имеющуюся схему AD не натянуть на глобус текущей схемы работы LDAP с ролями/группами в clickhouse )
Вообще, натянуть можно даже на основании той информации, которую вы предоставили. Просто для каждой OU можно создать свой ldap_server. Но мне кажется, если вы ответите на мои вопросы в issue, то еще есть шанс прямого решения.
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denis Glazachev
Вообще, натянуть можно даже на основании той информации, которую вы предоставили. Просто для каждой OU можно создать свой ldap_server. Но мне кажется, если вы ответите на мои вопросы в issue, то еще есть шанс прямого решения.
вроде ответил, либо не совсем понял вопросы 🙂
Вариант с сервером под каждую  OU принципиально ничего не изменит, так как не могу использовать логин для bind_dn кроме как в формате Домен/логин. Так как DN для юзера кирилический, собственно в issue это указал.
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Ну и  OU этих сильно уж много ) сотрудников тысячи, юнитов сотни )
источник

DG

Denis Glazachev in ClickHouse не тормозит
Кириллица в DN - не проблема.
Последним пообщением я просил аутпут этих:

dsquery user -name s.v.petrov
dsquery group -name users_l0.2
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denis Glazachev
Кириллица в DN - не проблема.
Последним пообщением я просил аутпут этих:

dsquery user -name s.v.petrov
dsquery group -name users_l0.2
а какие именно поля интересуют? там длинная портянка, маскировать всю не хочется )
источник

DG

Denis Glazachev in ClickHouse не тормозит
DN?
источник

D

Dj in ClickHouse не тормозит
Denis Glazachev
Кириллица в DN - не проблема.
Последним пообщением я просил аутпут этих:

dsquery user -name s.v.petrov
dsquery group -name users_l0.2
[In reply to Denis Glazachev]
кстати я тут упустил. Отдельный поиск ролей по ЛДАП тоже вообще не надо делать. вы просто должны взять из объекта пользователя атрибуты memberOf (configurable)

теперь я вспомнил почему у нас есть поддержка атрибута "memberOf"  =)
источник

DG

Denis Glazachev in ClickHouse не тормозит
Dj
[In reply to Denis Glazachev]
кстати я тут упустил. Отдельный поиск ролей по ЛДАП тоже вообще не надо делать. вы просто должны взять из объекта пользователя атрибуты memberOf (configurable)

теперь я вспомнил почему у нас есть поддержка атрибута "memberOf"  =)
Ну так memberOf указывается в search filter.
источник

D

Dj in ClickHouse не тормозит
Denis Glazachev
Ну так memberOf указывается в search filter.
не, если есть memberOfAttributeName ="memberOf"
можно без search filter, вообще не искать группы
источник

DG

Denis Glazachev in ClickHouse не тормозит
Dj
не, если есть memberOfAttributeName ="memberOf"
можно без search filter, вообще не искать группы
да, и это будет частный случай
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denis Glazachev
Кириллица в DN - не проблема.
Последним пообщением я просил аутпут этих:

dsquery user -name s.v.petrov
dsquery group -name users_l0.2
distinguishedName=CN=Петров Сергей Владимирович,OU=users_l0.2,OU=users_l0,DC=domain,DC=tld
distinguishedName=OU=users_l0.2,OU=users_l0,DC=domain,DC=tld

вроде оно
источник

DG

Denis Glazachev in ClickHouse не тормозит
Тут такая тема: в OU указана ссылка на DN пользователя (в той или иной форме, member, memberOf, и т.п.) Если по ней восстановить истинный DN где записан пользователь(ли), и его указать как bind_dn, то потом можно делать search по дереву груп с member=uid={user_name}
источник

D

Dj in ClickHouse не тормозит
Denis Glazachev
да, и это будет частный случай
да, как раз на такие.. но в данном случае можно просто сделать улучшение с поддеркой placholder, {binddn:attr} / {fullbinddn}
источник

DG

Denis Glazachev in ClickHouse не тормозит
Dj
да, как раз на такие.. но в данном случае можно просто сделать улучшение с поддеркой placholder, {binddn:attr} / {fullbinddn}
несовсем понял
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denis Glazachev
Тут такая тема: в OU указана ссылка на DN пользователя (в той или иной форме, member, memberOf, и т.п.) Если по ней восстановить истинный DN где записан пользователь(ли), и его указать как bind_dn, то потом можно делать search по дереву груп с member=uid={user_name}
Это я понимаю, вопрос лишь как по логину восстановить DN, собственно в issue про это и написано. Либо в документации не все указано и есть еще какое-то место для дополнительного фильтра, который поможет сконвертировать логин в DN
источник