Телеграмм чат группы clickhouse_ru страница 8259

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу

2020 September 15

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Mikhail Filimonov

Да, если ничего не изменилось за последние месяцы, то чтобы сделать chroot в зукипере нужно чтоб путь существовал. Зукипер сам ничего не создаёт в момент подключения, а чтоб КХ мог его создать - ему пришлось бы сначала подключиться к корню зукипера (без chroot).

это как-то странно, я проверял и работало без создания. Может раньше работало.

источник

00:44пожаловаться #1

DC

Denny Crane [not a Y... in ClickHouse не тормозит

хотя в доке тоже написано что

<root>/path/to/zookeeper/node</root>

значит я ошибся

источник

00:48пожаловаться #2

DC

Denny Crane [not a Y... in ClickHouse не тормозит

и сообщение
Application: Coordination::Exception: Zookeeper root doesn't exist. You should create root node /aaaa before start. (No node)

источник

00:50пожаловаться #3

DC

Denny Crane [not a Y... in ClickHouse не тормозит

кстати hugepages в оракл испольщуется для SGA (buffer cache - скешированные в память блоки, in-memory tables, процедуры/бд код). Т.е. в терминологии КХ - данные default пользователя (не ассоциированные с запросом). Но в КХ таких данных мало обычно - (кеш засечек, метаданные, словари наверно, и вроде все)... Наверно можно разрешить КХ использовать N HP страниц для словарей если их много с помощью параметра?

ораклу hugepages помогает именно для буфферного кеша и в режиме dedicated, экономит память в первую очередь.

проблема именно в режиме dedicated, у каждого процесса свое адресное пространство, своя TLB

338 лет назад, у меня при SGA_TARGET 14G случилась PageTables > 2G , при 200 dedicated сессиях, т.е. фактически 2 ГБ ушло на TLB при 14GB полезных.

источник

02:56пожаловаться #4

D

Dj in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

ораклу hugepages помогает именно для буфферного кеша и в режиме dedicated, экономит память в первую очередь.

проблема именно в режиме dedicated, у каждого процесса свое адресное пространство, своя TLB

338 лет назад, у меня при SGA_TARGET 14G случилась PageTables > 2G , при 200 dedicated сессиях, т.е. фактически 2 ГБ ушло на TLB при 14GB полезных.

Режим dedicated/shared влияет на память процесса. Это PGA, он вообще не умеет HugePages использовать. SGA это именно системная память, ей пофиг на dedicated/shared mode. Это вообще не про это, либо мы терминологию используем по-разному.

источник

07:20пожаловаться #5

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Режим dedicated/shared влияет на память процесса. Это PGA, он вообще не умеет HugePages использовать. SGA это именно системная память, ей пофиг на dedicated/shared mode. Это вообще не про это, либо мы терминологию используем по-разному.

buffer pool в sga. Но это не важно как называть.
суть в том что кеш датаспейсов -- буфферный пул это shared memory. Но каждый процесс -- unix process видит ее в своем адресном пронстранстве и у них у всех собственная tlb.

источник

07:24пожаловаться #6

Y@

Yura @LiubPoetry Liu... in ClickHouse не тормозит

Всем привет!
Подскажите пожалуйста как сплитануть строку по значению другой колонки из базы
splitByString только с константами работает

источник

07:25пожаловаться #7

D

Dj in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

buffer pool в sga. Но это не важно как называть.
суть в том что кеш датаспейсов -- буфферный пул это shared memory. Но каждый процесс -- unix process видит ее в своем адресном пронстранстве и у них у всех собственная tlb.

Да, вы правы. В случае с КХ конечно ввиду однопроцессности в этом плане (полезное использование памяти) такой пользы не будет. Но все равно по скорости и % ТЛБ кеш попаданий будет на порядок лучше в условиях больших словарей/кешей.

источник

07:58пожаловаться #8

DS

Dimitriy Scherbenko in ClickHouse не тормозит

Всем привет!
Подскажите, пожалуйста, в какой таблице смотреть список запросов к бд (в том числе truncate и delete)? Думал обратиться к system.query, но в схеме ее не нашел.

источник

09:26пожаловаться #9

DS

Dimitriy Scherbenko in ClickHouse не тормозит

Просто ситуация такая, что из одной таблицы исчезла куча записей. Проверил логи дагов. Там все отработало нормально.

источник

09:28пожаловаться #10

AM

Alex ⭕️ More in ClickHouse не тормозит

Dimitriy Scherbenko

Всем привет!
Подскажите, пожалуйста, в какой таблице смотреть список запросов к бд (в том числе truncate и delete)? Думал обратиться к system.query, но в схеме ее не нашел.

query_log, но логирование должно было быть явно включено

источник

09:29пожаловаться #11

S

Slach in ClickHouse не тормозит

Народ, читаю
https://clickhouse.tech/docs/en/sql-reference/functions/date-time-functions/

я правильно понимаю что у clickhouse сейчас НЕТ функции для поля типа duration_ms
которая делала бы тоже самое что делает formatReadableSize для какого нибудь read_bytes ?

clickhouse.tech

Dates and Times | ClickHouse Documentation

Functions for Working with Dates and Times Support for time zones All functions for working with the date and time that

источник

09:31пожаловаться #12

S

Slach in ClickHouse не тормозит

Dimitriy Scherbenko

Всем привет!
Подскажите, пожалуйста, в какой таблице смотреть список запросов к бд (в том числе truncate и delete)? Думал обратиться к system.query, но в схеме ее не нашел.

system.processes

и
system.query_log (но он должен быть включен в настройках)
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-query-log

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

источник

09:31пожаловаться #13

DS

Dimitriy Scherbenko in ClickHouse не тормозит

спасибо

источник

09:34пожаловаться #14

DS

Dimitriy Scherbenko in ClickHouse не тормозит

system.processes

и
system.query_log (но он должен быть включен в настройках)
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-query-log

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

в процесс по идее только те, которые запущены сейчас

источник

09:34пожаловаться #15

S

Slach in ClickHouse не тормозит

Dimitriy Scherbenko

в процесс по идее только те, которые запущены сейчас

да именно так

источник

09:36пожаловаться #16

АФ

Александр Филиппов... in ClickHouse не тормозит

есть 2 кликхауса, между ними настроена реплекация. На обоих серверах создана material view, на втором сервере данные во вьюхе актуальные, на первом данные не обновлялись со вчерашнего вечера. Данные в остальных таблицах идентичные. В какую сторону копать?

источник

10:10пожаловаться #17

И

Иван in ClickHouse не тормозит

Александр Филиппов

есть 2 кликхауса, между ними настроена реплекация. На обоих серверах создана material view, на втором сервере данные во вьюхе актуальные, на первом данные не обновлялись со вчерашнего вечера. Данные в остальных таблицах идентичные. В какую сторону копать?

DDL для MV покажите (настройки движка). Затем загляните в таблицы system.replicas и system.replication_queue

источник

10:14пожаловаться #18

АФ

Александр Филиппов... in ClickHouse не тормозит

CREATE MATERIALIZED VIEW wproxy.traffic_uids_hourly
(
    `rx` AggregateFunction(sum, UInt64),
    `tx` AggregateFunction(sum, UInt64),
    `uids` AggregateFunction(uniq, String),
    `d` DateTime('Europe/Moscow'),
    `clientId` String
)
ENGINE = AggregatingMergeTree()
ORDER BY (d, clientId)
SETTINGS index_granularity = 8192 AS
SELECT 
    sumState(rx) AS rx,
    sumState(tx) AS tx,
    uniqState(uuid) AS uids,
    toStartOfHour(tm) AS d,
    clientId
FROM wproxy.stats
GROUP BY 
    d,
    clientId

источник

10:14пожаловаться #19

И

Иван in ClickHouse не тормозит

Александр Филиппов

CREATE MATERIALIZED VIEW wproxy.traffic_uids_hourly
(
    `rx` AggregateFunction(sum, UInt64),
    `tx` AggregateFunction(sum, UInt64),
    `uids` AggregateFunction(uniq, String),
    `d` DateTime('Europe/Moscow'),
    `clientId` String
)
ENGINE = AggregatingMergeTree()
ORDER BY (d, clientId)
SETTINGS index_granularity = 8192 AS
SELECT 
    sumState(rx) AS rx,
    sumState(tx) AS tx,
    uniqState(uuid) AS uids,
    toStartOfHour(tm) AS d,
    clientId
FROM wproxy.stats
GROUP BY 
    d,
    clientId

У вас MV не реплицирована. т.е. это две незваисимые MV которые не знают друг про друга.

источник

10:15пожаловаться #20