Size: a a a

ClickHouse не тормозит

2020 May 26

KG

Konstantin Grigorev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы вообще все неправильно поняли. too many open files не из-за этого.

на каком запросе у вас too many open files ?
похоже, вообще с любых уже, не получается отследить
источник

KG

Konstantin Grigorev in ClickHouse не тормозит
что можете посоветовать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yuri Alexandrovich
простите, всех пользователей в where in?
where in set или where in select ... но это не важно
источник

DT

Dmitry Titov in ClickHouse не тормозит
Yuri Alexandrovich
простите, всех пользователей в where in?
только нужных все таки)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Grigorev
похоже, вообще с любых уже, не получается отследить
а что за окружение?  докер?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Когда кол-во нужных пользователей будет расти, можно начать дробить этот список на кусочки и выгружать кусочками
источник

KG

Konstantin Grigorev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а что за окружение?  докер?
нет, без
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Grigorev
нет, без
sudo lsof |grep clickhouse и смотрите куда утекло

по идее регулируется

cat security/limits.d/clickhouse.conf
clickhouse soft nofile 262144
clickhouse hard nofile 262144

262144 должно хватать на что угодно
источник

YA

Yuri Alexandrovich in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
where in set или where in select ... но это не важно
уточню, чтобы точно было мне понятно

1. Создаю engine=Set/memory
2. Заполняю данными из Postgres
3. Делайю запрос where in set который указывает на мой кещ


так?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yuri Alexandrovich
уточню, чтобы точно было мне понятно

1. Создаю engine=Set/memory
2. Заполняю данными из Postgres
3. Делайю запрос where in set который указывает на мой кещ


так?
да
источник

YA

Yuri Alexandrovich in ClickHouse не тормозит
спасибо
источник

KG

Konstantin Grigorev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
sudo lsof |grep clickhouse и смотрите куда утекло

по идее регулируется

cat security/limits.d/clickhouse.conf
clickhouse soft nofile 262144
clickhouse hard nofile 262144

262144 должно хватать на что угодно
$ tail --lines=25 /tmp/11
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0      19288   12591905 /usr/lib64/libdl-2.17.so
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0   20785824   12614201 /usr/lib64/libicudata.so.50.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0    1539472   12592770 /usr/lib64/libicuuc.so.50.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0    2096104   12586147 /usr/lib64/libicui18n.so.50.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0     174576   12592821 /usr/lib64/libtinfo.so.5.9
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0     285136   12628063 /usr/lib64/libreadline.so.6.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0     163400   12586140 /usr/lib64/ld-2.17.so
HTTPHandl 27748 30154 clickhouse    0u      CHR                1,3        0t0       1028 /dev/null
HTTPHandl 27748 30154 clickhouse    1u      REG              253,4          0         98 /var/log/clickhouse-server/stdout.log
HTTPHandl 27748 30154 clickhouse    2u      REG              253,4       6474         97 /var/log/clickhouse-server/stderr.log
HTTPHandl 27748 30154 clickhouse    3r     FIFO                0,9        0t0 3953792139 pipe
HTTPHandl 27748 30154 clickhouse    4w     FIFO                0,9        0t0 3953792139 pipe
HTTPHandl 27748 30154 clickhouse    5u     IPv4         4012807133        0t0        TCP localhost:8123->localhost:24024 (ESTABLISHED)
HTTPHandl 27748 30154 clickhouse    6w      REG              253,4   63032158        100 /var/log/clickhouse-server/clickhouse-server.err.log
HTTPHandl 27748 30154 clickhouse    7wW     REG              253,0         59   12602478 /var/lib/clickhouse/status
HTTPHandl 27748 30154 clickhouse    8u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse    9w      REG              253,4  909515713         90 /var/log/clickhouse-server/clickhouse-server.log
HTTPHandl 27748 30154 clickhouse   10u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse   11u     IPv4         4012541686        0t0        TCP localhost:8123->localhost:8946 (ESTABLISHED)
HTTPHandl 27748 30154 clickhouse   12u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse   13u     IPv4         3953794387        0t0        TCP localhost:8123 (LISTEN)
HTTPHandl 27748 30154 clickhouse   14u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse   29u     IPv4         3953794388        0t0        TCP localhost:cslistener (LISTEN)
HTTPHandl 27748 30154 clickhouse   30u     IPv4         3953794389        0t0        TCP localhost:pichat (LISTEN)
HTTPHandl 27748 30154 clickhouse   85u  a_inode               0,10          0       6387 [eventpoll]
источник

KG

Konstantin Grigorev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
sudo lsof |grep clickhouse и смотрите куда утекло

по идее регулируется

cat security/limits.d/clickhouse.conf
clickhouse soft nofile 262144
clickhouse hard nofile 262144

262144 должно хватать на что угодно
$ cat /etc/security/limits.d/clickhouse.conf
clickhouse      soft    nofile  262144
clickhouse      hard    nofile  262144
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Grigorev
$ tail --lines=25 /tmp/11
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0      19288   12591905 /usr/lib64/libdl-2.17.so
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0   20785824   12614201 /usr/lib64/libicudata.so.50.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0    1539472   12592770 /usr/lib64/libicuuc.so.50.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0    2096104   12586147 /usr/lib64/libicui18n.so.50.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0     174576   12592821 /usr/lib64/libtinfo.so.5.9
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0     285136   12628063 /usr/lib64/libreadline.so.6.2
HTTPHandl 27748 30154 clickhouse  mem       REG              253,0     163400   12586140 /usr/lib64/ld-2.17.so
HTTPHandl 27748 30154 clickhouse    0u      CHR                1,3        0t0       1028 /dev/null
HTTPHandl 27748 30154 clickhouse    1u      REG              253,4          0         98 /var/log/clickhouse-server/stdout.log
HTTPHandl 27748 30154 clickhouse    2u      REG              253,4       6474         97 /var/log/clickhouse-server/stderr.log
HTTPHandl 27748 30154 clickhouse    3r     FIFO                0,9        0t0 3953792139 pipe
HTTPHandl 27748 30154 clickhouse    4w     FIFO                0,9        0t0 3953792139 pipe
HTTPHandl 27748 30154 clickhouse    5u     IPv4         4012807133        0t0        TCP localhost:8123->localhost:24024 (ESTABLISHED)
HTTPHandl 27748 30154 clickhouse    6w      REG              253,4   63032158        100 /var/log/clickhouse-server/clickhouse-server.err.log
HTTPHandl 27748 30154 clickhouse    7wW     REG              253,0         59   12602478 /var/lib/clickhouse/status
HTTPHandl 27748 30154 clickhouse    8u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse    9w      REG              253,4  909515713         90 /var/log/clickhouse-server/clickhouse-server.log
HTTPHandl 27748 30154 clickhouse   10u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse   11u     IPv4         4012541686        0t0        TCP localhost:8123->localhost:8946 (ESTABLISHED)
HTTPHandl 27748 30154 clickhouse   12u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse   13u     IPv4         3953794387        0t0        TCP localhost:8123 (LISTEN)
HTTPHandl 27748 30154 clickhouse   14u  a_inode               0,10          0       6387 [eventpoll]
HTTPHandl 27748 30154 clickhouse   29u     IPv4         3953794388        0t0        TCP localhost:cslistener (LISTEN)
HTTPHandl 27748 30154 clickhouse   30u     IPv4         3953794389        0t0        TCP localhost:pichat (LISTEN)
HTTPHandl 27748 30154 clickhouse   85u  a_inode               0,10          0       6387 [eventpoll]
wc -l /tmp/11
источник

KG

Konstantin Grigorev in ClickHouse не тормозит
37182
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
до лимита далеко. В общем надо читать трейсы в логе кх, но проблема вообще никак не связана с ORDER BY таблицы
источник

AB

Artem Benois in ClickHouse не тормозит
всем привет, скажите насколько целесообразно заменить mysql на versionedCollapsingMergeTree для  храннения относительно редко изменяющихся данных чтобы избежать зоопарка баз данных?
источник

AB

Artem Benois in ClickHouse не тормозит
в частности хочу перенести тикетную систему саппорта проекта под clickhouse
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artem Benois
в частности хочу перенести тикетную систему саппорта проекта под clickhouse
забудьте, это дурка полная тратить мегаусилия на превращение КХ в OLTP
источник

pk

papa karlo in ClickHouse не тормозит
Artem Benois
всем привет, скажите насколько целесообразно заменить mysql на versionedCollapsingMergeTree для  храннения относительно редко изменяющихся данных чтобы избежать зоопарка баз данных?
одна задача - одна база
источник