ну по-моему в 20.8 она есть, но вообще без разницы, это эксперимент.

добрый день! подскажите, как выключить MergeTreeWhereOptimizer - работает сутками напролет, грузит проц и, судя по логу, делает то, что мне реально не нужно

или может можно ему указать, на каких таблицах эту оптимизацию делать, а на каких нет?

MergeTreeWhereOptimizer этож относится к конкретному запросу вроде, а ты его где наблюдаешь?

в /var/log/clickhouse-server/clickhouse-server.log постоянно добавляются строки вида "2020.09.10 16:33:14.508796 [ 25604 ] {} <Debug> InterpreterSelectQuery: MergeTreeWhereOptimizer: condition "NOT (ctH IN (6860129868808242176, 2705566125338596352, 9938336314754336768, <...>, 10451510937842583552, 12361736413449656320))" moved to PREWHERE"
и в htop-е висят три процесса КХ, грузят три ядра на 100%, запросов активных нет

SELECT * FROM system.processes

тут ничего подозрительного не наблюдаю, запросы, по которым дашборды строятся (на пару секунд максимум) - при каждом новом SELECT * FROM system.processes они разные
а три ядра заняты постоянно на 100%, началось пару дней назад, раньше такого не было
вот в логе только вот записи появляются постоянно как выше писал, я и подумал, что оптимайзер какой-то постоянно оптимизирует что-то, после рестарта КХ все продолжается
с 8го сентября уже 5 гб заархивированных логов лежат в /var/log/clickhouse-server/

это кусок select-а, он переписывает sql запрос, он не может грузить диск/cpu

посмотрите что тред 25604 делал до этого

MergeTreeWhereOptimizer делает из select ... where a=5 что-то типа select ... prewhere a=5

а как можно посмотреть? "Table system.query_thread_log doesn't exist" - КХ версии 19.5.3.8

в /var/log/clickhouse-server/clickhouse-server.log поиском по [ 25604 ]

вот такое нашел

где-то в 16-30 делал рестарт КХ
сначала идут те строки с
2020.09.10 16:33:14.508796 [ 25604 ] {} <Debug> InterpreterSelectQuery: MergeTreeWhereOptimizer: condition "NOT (ctH IN (6860129868808242176, 2705566125338596352, 9938336314754336768, <...>, 10451510937842583552, 12361736413449656320))" moved to PREWHERE
таких немало, айдишников в них тысячи

потом это

6180572576492195840))" moved to PREWHERE
2020.09.10 16:33:22.456186 [ 25604 ] {} <Debug> DiskLocal: Reserving 3.41 GiB on disk default, having unreserved 123.90 GiB.
2020.09.10 16:33:22.877808 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 1.01 GiB.
2020.09.10 16:33:29.307549 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 2.00 GiB.
2020.09.10 16:33:33.271359 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 3.00 GiB.
2020.09.10 16:33:34.058903 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 4.00 GiB.
2020.09.10 16:34:36.863503 [ 25604 ] {} <Debug> prediction_sync.adrevFC_precalc (SelectExecutor): Key condition: unknown, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, ...
2020.09.10 16:34:36.863999 [ 25604 ] {} <Debug> prediction_sync.adrevFC_precalc (SelectExecutor): MinMax index condition: unknown, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, or, unknown, ...
2020.09.10 16:34:36.864057 [ 25604 ] {} <Debug> prediction_sync.adrevFC_precalc (SelectExecutor): Selected 1 parts by date, 1 parts by key, 980 marks to read from 1 ranges
2020.09.10 16:34:36.864097 [ 25604 ] {} <Trace> MergeTreeSelectProcessor: Reading 1 ranges from part 202009_6551_6603_2_7911, approx. 1154349 rows starting from 0
2020.09.10 16:34:36.864647 [ 25604 ] {} <Trace> InterpreterSelectQuery: FetchColumns -> Complete
2020.09.10 16:36:42.125427 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage (total): 32.01 GiB.
2020.09.10 16:41:43.503574 [ 25604 ] {} <Trace> AggregatingTransform: Aggregating
2020.09.10 16:41:43.503611 [ 25604 ] {} <Trace> Aggregator: Aggregation method: without_key
2020.09.10 16:44:30.013348 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage (total): 34.00 GiB.
2020.09.10 16:45:04.489988 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage (total): 35.00 GiB.
2020.09.10 16:55:46.467306 [ 25604 ] {} <Trace> AggregatingTransform: Aggregated. 1643 to 1 rows (from 1.60 KiB) in 890.9555577 sec. (1.8440874921319321 rows/sec., 1.84 B/sec.)
2020.09.10 16:55:46.467337 [ 25604 ] {} <Trace> Aggregator: Merging aggregated data
2020.09.10 16:55:46.591873 [ 25604 ] {} <Trace> prediction_sync.adrevFC_precalc (MergerMutator): Mutating part 202009_6551_6603_2_7911 to mutation version 9558
2020.09.10 16:56:00.854667 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 5.15 GiB.
2020.09.10 17:03:12.471841 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 6.00 GiB.
2020.09.10 17:03:12.785137 [ 25604 ] {} <Debug> MemoryTracker: Current memory usage: 7.08 GiB.
2020.09.10 17:03:26.777345 [ 25604 ] {} <Debug> prediction_sync.adrevFC_precalc (SelectExecutor): Key condition: unknown, unknown, and, unknown, and, ...
2020.09.10 17:03:26.777850 [ 25604 ] {} <Debug> prediction_sync.adrevFC_precalc (SelectExecutor): MinMax index condition: unknown, unknown, and, unknown, ...
2020.09.10 17:03:26.777925 [ 25604 ] {} <Debug> prediction_sync.adrevFC_precalc (SelectExecutor): Selected 1 parts by date, 1 parts by key, 980 marks to read from 1 ranges
2020.09.10 17:03:26.777988 [ 25604 ] {} <Trace> MergeTreeSelectProcessor: Reading 1 ranges from part 202009_6551_6603_2_7911, approx. 1154349 rows starting from 0

2020.09.10 17:03:26.778554 [ 25604 ] {} <Trace> InterpreterSelectQuery: FetchColumns -> Complete

выложите куда-нибудь весь лог , файл целиком

Привет, прошу прощения за простой вопрос, но в той доке что читал об этом не было сказано.

в конфиге есть такой синтаксис:
<zookeeper incl="zookeeper-servers" optional="true" />

это означает что будут подгружен конфиг /etc/clickhouse-server/config.d/zookeeper-servers.xml ?

нет,

<zookeeper incl="zookeeper-servers" optional="true" />  это значит что <zookeeper> загрузить из /etc/metrica.xml если там есть

конфиг /etc/clickhouse-server/config.d/zookeeper-servers.xml  будет загружен в любом случае в независимости от того что выше.

! я никогда не меняю стандартные config.xml users.xml (и не использую metrica.xml )  все изменения делаю через файлики в users.d /config.d

спасибо

вот сюда выложил https://yadi.sk/d/-Z5v3ALSvqqOdw

metrica.xml имеет смысл только для кусков которые надо повторить много раз, например база/юзер/пароль словарей (в словарях инклюдить кусок xml и не повторять пароль 15000 раз)
metrica.xml может лежать где угодно и называться как угодно, это описывается в include_from

это мутации
покажите
select * from system.mutations where not is_done