Телеграмм чат группы clickhouse

2021 February 10

DG

Denis Glazachev in ClickHouse не тормозит

Dj

у меня точно такая же структура в АД, нельзя построить фильтр который идет по референсам

кстати, можно

источник

18:24пожаловаться #1

S

Slach in ClickHouse не тормозит

Denis Dorozhkin

Всем привет! Есть широкая таблица с несколькмим колонками String в которую уже неколько лет пишутся данные. Данные - разные, но значения в этих колонках из ограниченного множества.
Насколько больно преобразовывать из обычной колонки в LowCardinality и стоит ли оно того?

ALTER TABLE table
MODIFY COLUMN column LowCardinality(String),

достаточно больно, но это того стоит. выигрыш может быть весьма значительный особенно если кардинальность в пределах блоках действительно небольшая
сколько у вас там данных в байтах на диске по колонкам из system.columns?
фактически у вас по объему чтения \ записи на диск это будет равносильно OPTIMIZE TABLE FINAL

источник

18:25пожаловаться #2

A

Arsen in ClickHouse не тормозит

Dmitry Titov

Для 100гб и одного сервера слишком много геммора бдует

DG

Denis Glazachev in ClickHouse не тормозит

Denis Glazachev

кстати, можно

Может не в нашей текущей имплементации, но это вопрос флага в API.

источник

18:26пожаловаться #4

СД

Стас Донцов... in ClickHouse не тормозит

Стас Донцов

Привет!

как проверить значение столбца на несколько паттернов чтобы не писать много условий в стиле:

select
field
where
field not like '%pattern1%'
and field not like '%pattern2%'
.....
and field not like '%pattern3%'

я так понял чатик с вопросами это не этот чатик?

источник

18:26пожаловаться #5

D

Dj in ClickHouse не тормозит

Denis Glazachev

Может не в нашей текущей имплементации, но это вопрос флага в API.

можете пример фильтра?

userdn: CN=FirstName LastName,OU=RU-Users,OU=USERS,OU=DOMAIN,DC=LOCAL
имя пользователя: firstname.lastname (from samAccountName of user)

GroupDN: CN=DevelopmentOnTestServers,OU=GROUPS,OU=DOMAIN,DC=LOCAL
member: CN=FirstName LastName,OU=RU-Users,OU=USERS,OU=DOMAIN,DC=LOCAL

источник

18:28пожаловаться #6

DD

Denis Dorozhkin in ClickHouse не тормозит

Slach

достаточно больно, но это того стоит. выигрыш может быть весьма значительный особенно если кардинальность в пределах блоках действительно небольшая
сколько у вас там данных в байтах на диске по колонкам из system.columns?
фактически у вас по объему чтения \ записи на диск это будет равносильно OPTIMIZE TABLE FINAL

На одном шарде так
compressed 485,166,083,254
uncomressed 5,669,734,195,840

Ну сжатие ориентировочно на порядок идет

источник

18:30пожаловаться #7

M

Mishanya in ClickHouse не тормозит

Mihail F

Не в словаре замечательно, а вот со словарем уже проблемы пошли

вообще поискал в истории чата, пишут что массивы в словарях не работают.

источник

18:30пожаловаться #8

DT

Dmitry Titov in ClickHouse не тормозит

Mishanya

вообще поискал в истории чата, пишут что массивы в словарях не работают.

Да, но есть варианты, например через запятую можно

источник

18:30пожаловаться #9

MF

Mihail F in ClickHouse не тормозит

Mishanya

вообще поискал в истории чата, пишут что массивы в словарях не работают.

Подозревал. Спасибо за Ваше время!

источник

18:31пожаловаться #10

M

Mishanya in ClickHouse не тормозит

Mihail F

Подозревал. Спасибо за Ваше время!

вон там сверху подсказывают, что можно как-то через запятые)

источник

18:32пожаловаться #11

S

Slach in ClickHouse не тормозит

Denis Dorozhkin

На одном шарде так
compressed 485,166,083,254
uncomressed 5,669,734,195,840

Ну сжатие ориентировочно на порядок идет

То есть пол терабайта на шард
диски сколько последовательное чтение выдают?
место есть свободное?

как вариант можно попробовать протестировать
INSERT INTO table_with_low_cardinality_schema SELECT FROM table WHERE ...
и сравнить что будет на выходе и как влияет

в общем достаточно больно будет, но прососать должно
можно поиграться с background_schedule_pool_size чтобы оно не сильно много потоков одновременно запустило. но это замедлит конвертацию...
по идее чтение при этом не должно прерываться...
и таблица вроде бы не блокируется

источник

18:39пожаловаться #12

DD

Denis Dorozhkin in ClickHouse не тормозит

Slach

То есть пол терабайта на шард
диски сколько последовательное чтение выдают?
место есть свободное?

как вариант можно попробовать протестировать
INSERT INTO table_with_low_cardinality_schema SELECT FROM table WHERE ...
и сравнить что будет на выходе и как влияет

в общем достаточно больно будет, но прососать должно
можно поиграться с background_schedule_pool_size чтобы оно не сильно много потоков одновременно запустило. но это замедлит конвертацию...
по идее чтение при этом не должно прерываться...
и таблица вроде бы не блокируется

Спасибо большое! Будем тестить

источник

18:39пожаловаться #13

VB

Vladimir Bunchuk in ClickHouse не тормозит

Ребят, привет!
Подвисла одна нода в кластере. Перезагрузил ее. Теперь начало валить куча ошибок и растет system.replication_queue

ошибки типа:


2021.02.10 15:42:48.196712 [ 6355 ] {} <Warning> db_name.user_device_id_shard (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 202102_228260_228514_39. Hoping that it will eventually appear as a result of a merge.

куда копать, как исправить?

источник

18:43пожаловаться #14

VB

Vladimir Bunchuk in ClickHouse не тормозит

клиент к этой ноде не подключается

источник

18:43пожаловаться #15

DG

Denis Glazachev in ClickHouse не тормозит

Dj

можете пример фильтра?

userdn: CN=FirstName LastName,OU=RU-Users,OU=USERS,OU=DOMAIN,DC=LOCAL
имя пользователя: firstname.lastname (from samAccountName of user)

GroupDN: CN=DevelopmentOnTestServers,OU=GROUPS,OU=DOMAIN,DC=LOCAL
member: CN=FirstName LastName,OU=RU-Users,OU=USERS,OU=DOMAIN,DC=LOCAL

нет, походу, это было про Referrals и не одним флагом а спец. хендлингом

источник

18:44пожаловаться #16

D

Dj in ClickHouse не тормозит

Denis Glazachev

нет, походу, это было про Referrals и не одним флагом а спец. хендлингом

аха, вам по любому надо отделить юзернейм, и получать DN для него отдельно

https://t.me/clickhouse_ru/203596

# returns DN of a user
ldapsearch -H "ldap://ldapserver:389" -D 'PW\firstname.lastname' -w 'password' -b 'OU=USERS,DC=DOMAIN,DC=LOCAL' '(&(objectClass=person)(samAccountName=firstname.lastname))' dn

# finds group of user
ldapsearch -H "ldap://ldapserver:389" -D 'PW\firstname.lastname' -w 'password' -b 'OU=GROUPS,DC=DOMAIN,DC=LOCAL' '(&(objectClass=group)(member=CN=Firstname Lastname,OU=RU-Users,OU=USERS,DC=DOMAIN,DC=LOCAL))' name

【D】【J】 in ClickHouse не тормозит

не совсем, bind_dn может не совпадать с именем пользователя. имя скорее всего будет в одном из полей (userPrincipalName, samAccountName, etc), на самом деле имею ввиду такое
<bind_username>DOMAIN\{user_name}</bind_username>
or
<bind_username>user_name@mydomain.dj</bind_username>
(bind_dn КХ должен сам получить после bind)

и разрешить подобное
<search_filter>(&(objectClass=groupOfNames)(member={bind_dn}))</search_filter>
or
<search_filter>(&(objectClass=groupOfNames)(member={bind_username}))</search_filter>

это будет правильней + решит проблемы подобного рода как у Алексея

источник

18:47пожаловаться #17

AS

Alexey Shcherbakov in ClickHouse не тормозит

Denis Glazachev

если на это будет полочжительный ответ, то все решается элементарно:
bind_dn - как раньше
search base_dn: DC=domain,DC=tld
search filter: <all nodes that have sAMAccountName={user_name} nested inside>
attribute: OU

так не работает, нужно только с CN=

источник

18:48пожаловаться #18

MV

Max Vikharev in ClickHouse не тормозит

Dj

тогда вам велосипедить с CollapsingMergeTree и слать все обновления в КХ... на mysql уже есть engine под это (materializemysql). Для ПГ пока нет.

Итого для инкрементальной заливки измерений SCD из постгреса выбрали ODBC вытаскивание по updated + Collapsing Merge Tree. Если все таки есть более правильный и/или простой спасибо - дайте знать)

источник

18:49пожаловаться #19

D

Dj in ClickHouse не тормозит

Denis Glazachev

нет, походу, это было про Referrals и не одним флагом а спец. хендлингом

т.е. вместо bind_dn лучше иметь

<username>DOMAIN\{user_name}</username>
<userdn_filter>(&(objectClass=person)(samAccountName={user_name}))</>

источник

18:49пожаловаться #20