Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

4122 membersпожаловаться на группу

2020 July 29

Artur Beglaryan in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

Может таблицы с engine memory? Или engine join. Или engine buffer

Неа

SELECT 
    engine, 
    count(*)
FROM system.tables
WHERE database != 'system'
GROUP BY engine

┌─engine──────┬─count()─┐
│ MergeTree   │       6 │
│ Dictionary  │       3 │
│ Distributed │       6 │
└─────────────┴─────────┘

источник

00:29пожаловаться #1

Artur Beglaryan in ClickHouse не тормозит

Возможно ли что какой то запрос упал, и просто не освободил память? и это 100ГБ так и висят?

источник

00:30пожаловаться #2

Denny Crane (I don't... in ClickHouse не тормозит

Artur Beglaryan

Возможно ли что какой то запрос упал, и просто не освободил память? и это 100ГБ так и висят?

Такие баги были но давно. Надо искать в err.log ошибки в то время когда началось

источник

00:39пожаловаться #3

АА

Алексей Артамонов... in ClickHouse не тормозит

@den_crane не напомните как проверить доступ ЗК с КХ

источник

00:41пожаловаться #4

АА

Алексей Артамонов... in ClickHouse не тормозит

через curl, чет вылетело из головы

источник

00:41пожаловаться #5

Denny Crane (I don't... in ClickHouse не тормозит

Алексей Артамонов

через curl, чет вылетело из головы

echo stat | nc <zookeeper ip> 2181

источник

00:43пожаловаться #6

АА

Алексей Артамонов... in ClickHouse не тормозит

чет ничего не вернул )

источник

00:45пожаловаться #7

Artur Beglaryan in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

Такие баги были но давно. Надо искать в err.log ошибки в то время когда началось

там 2 запроса упали в этом промежутке времени

2020.07.17 12:04:26.799503 [ 54786 ] {578c4b37-5e30-470a-a792-aadeeaa76fd5} <Error> executeQuery: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 93.13 GiB (attempt to allocate chunk of 69208224 bytes), maximum: 93.13 GiB: While executing MergingAggregatedTransform (version 20.3.11.97 (official build))

2020.07.17 12:15:22.007527 [ 68573 ] {9cc19115-8658-41ce-8a86-14d2774772d6} <Error> executeQuery: Code: 135, e.displayText() = DB::Exception: Indices in strings are 1-based (version 20.3.11.97 (official build))

что-то мне кажется память не освободилаь от запросаа первой ошибки и так и висит. И рестарт не смогу делать. В таблице есть колонка MATERIALIZED toUInt64(dictGet и скорее всего из-за https://github.com/ClickHouse/ClickHouse/issues/12665 рестарт без остановки заливки не получится

GitHub

Race during loading external dictionaries after CH restart · Issue #12665 · ClickHouse/ClickHouse

CH version is 20.5.2 Dictionaries config should be like this: <dictionaries_config>dictionaries.d/*.xml</dictionaries_config> Create an external dictionary via xml in di...

источник

00:51пожаловаться #8

АА

Алексей Артамонов... in ClickHouse не тормозит

@den_crane а я правильно еж понимаю что КХ ходит в ЗК, а ЗК в КХ не обращается

источник

00:52пожаловаться #9

Denny Crane (I don't... in ClickHouse не тормозит

Алексей Артамонов

@den_crane а я правильно еж понимаю что КХ ходит в ЗК, а ЗК в КХ не обращается

Правильно

источник

00:53пожаловаться #10

АА

Алексей Артамонов... in ClickHouse не тормозит

еще же можно посмотреть статус ЗК в КХ

источник

00:53пожаловаться #11

АА

Алексей Артамонов... in ClickHouse не тормозит

system.чего-то там

источник

00:53пожаловаться #12

Denny Crane (I don't... in ClickHouse не тормозит

Artur Beglaryan

там 2 запроса упали в этом промежутке времени

2020.07.17 12:04:26.799503 [ 54786 ] {578c4b37-5e30-470a-a792-aadeeaa76fd5} <Error> executeQuery: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 93.13 GiB (attempt to allocate chunk of 69208224 bytes), maximum: 93.13 GiB: While executing MergingAggregatedTransform (version 20.3.11.97 (official build))

2020.07.17 12:15:22.007527 [ 68573 ] {9cc19115-8658-41ce-8a86-14d2774772d6} <Error> executeQuery: Code: 135, e.displayText() = DB::Exception: Indices in strings are 1-based (version 20.3.11.97 (official build))

GitHub

Race during loading external dictionaries after CH restart · Issue #12665 · ClickHouse/ClickHouse

CH version is 20.5.2 Dictionaries config should be like this: <dictionaries_config>dictionaries.d/*.xml</dictionaries_config> Create an external dictionary via xml in di...

Сделайте тикет приложите запрос и ddl и ошибку. Без ребута кх ничего не сделать.

источник

00:54пожаловаться #13

Denny Crane (I don't... in ClickHouse не тормозит

Алексей Артамонов

еще же можно посмотреть статус ЗК в КХ

Нет такого. Если есть таблица system.zookeeper то кх стартовал с зукипером.

источник

00:55пожаловаться #14

АА

Алексей Артамонов... in ClickHouse не тормозит

у меня просто echo stat | nc ip 2181 ничего не отдает

источник

01:02пожаловаться #15

АА

Алексей Артамонов... in ClickHouse не тормозит

Алексей Артамонов

@den_crane 2020.07.28 21:15:52.009383 [ 71637 ] {} <Error> users: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = No message received, Stack trace (when copying this message, always include the lines below):

я думаю что по этой причине и ошибка

источник

01:04пожаловаться #16

АА

Алексей Артамонов... in ClickHouse не тормозит

но реплика вроде делается

источник

01:04пожаловаться #17

Denny Crane (I don't... in ClickHouse не тормозит

Алексей Артамонов

у меня просто echo stat | nc ip 2181 ничего не отдает

Кх сыпет ошибками про зк без остановки если ему нужен зк и при этом он не доступен.