DC
А когда вылезает, что происходит? Киляются запросы?
падают с ошибкой про total memory
Size: a a a
2020 June 17
A
падают с ошибкой про total memory
все или только те которые попросили памяти и тем самым попытались вырваться за max_server_memory_usage_to_ram_ratio?
DC
все или только те которые попросили памяти и тем самым попытались вырваться за max_server_memory_usage_to_ram_ratio?
те которые попросили
A
те которые попросили
Ага, понял. А правильно я понимаю что это ограничение суммарное, и включает в себя всю память КХ? И словари и кеши и все остальное.
DC
Ага, понял. А правильно я понимаю что это ограничение суммарное, и включает в себя всю память КХ? И словари и кеши и все остальное.
это попытка зайти с другого конца.
Раньше КХ пытался посчитать сколько памяти он набрал в разные арены, и это очень тяжело сделать. Теперь КХ насколько я понимаю пытается у ос? узнать свой RSS, RSS это все вместе и словари и мержи и кеши индексов и марков
Раньше КХ пытался посчитать сколько памяти он набрал в разные арены, и это очень тяжело сделать. Теперь КХ насколько я понимаю пытается у ос? узнать свой RSS, RSS это все вместе и словари и мержи и кеши индексов и марков
A
это попытка зайти с другого конца.
Раньше КХ пытался посчитать сколько памяти он набрал в разные арены, и это очень тяжело сделать. Теперь КХ насколько я понимаю пытается у ос? узнать свой RSS, RSS это все вместе и словари и мержи и кеши индексов и марков
Раньше КХ пытался посчитать сколько памяти он набрал в разные арены, и это очень тяжело сделать. Теперь КХ насколько я понимаю пытается у ос? узнать свой RSS, RSS это все вместе и словари и мержи и кеши индексов и марков
То что давно хотелось. А то системный OOM при настройках max_memory_usage_for_all_queries со значением на 10Гб меньше чем всего памяти в системе, выглядел крайне странно.
DC
max_memory_usage_for_all_queries еще был несколько странен тем что любой юзер мог его выставить например в 1 байт, и все, приехали, все остальные запросы падают
A
max_memory_usage_for_all_queries еще был несколько странен тем что любой юзер мог его выставить например в 1 байт, и все, приехали, все остальные запросы падают
Ну да и конфигурился он странно. Просто в одном из профилей;
MM
Привет, подскажите, всю голову сломал, выполняю запрос при помощи curl, запрос обычный ничего особенного select * from table limit 1000, который должен вернуть 1000 строк, но в итоге curl повисает и ничего не возвращается и curl отваливается по таймауту,
* Trying 192.168.122.16...в clichouse-client запрос отрабатывает. Что примечательно если limit поменять с 1000 на 20 то clickhouse-server вернет 20 строк.... Не понимаю в чем мой косяк.
* TCP_NODELAY set
* Connected to 192.168.122.16 (192.168.122.16) port 8123 (#0)
* Server auth using Basic with user 'default'
> POST / HTTP/1.1
> Host: 192.168.122.16:8123
> Authorization: Basic ZGVmYXVsdDp2NjJSVVd5b1hDRDRScDE=
> User-Agent: curl/7.58.0
> Accept: */*
> Content-Length: 28
> Content-Type: application/x-www-form-urlencoded
>
* upload completely sent off: 28 out of 28 bytes
< HTTP/1.1 200 OK
< Date: Wed, 17 Jun 2020 18:26:22 GMT
< Connection: Keep-Alive
< Content-Type: text/tab-separated-values; charset=UTF-8
< X-ClickHouse-Server-Display-Name: localhost
< Transfer-Encoding: chunked
< X-ClickHouse-Query-Id: 9a1ace40-1720-4c1c-88eb-01214b38324c
< X-ClickHouse-Format: TabSeparated
< X-ClickHouse-Timezone: Etc/UTC
< Keep-Alive: timeout=300
< X-ClickHouse-Summary: {"read_rows":"0","read_bytes":"0","written_rows":"0","written_bytes":"0","total_rows_to_read":"0"}
<
* Recv failure: Connection reset by peer
* stopped the pause stream!
* Closing connection 0
curl: (56) Recv failure: Connection reset by peer
DC
Привет, подскажите, всю голову сломал, выполняю запрос при помощи curl, запрос обычный ничего особенного select * from table limit 1000, который должен вернуть 1000 строк, но в итоге curl повисает и ничего не возвращается и curl отваливается по таймауту,
* Trying 192.168.122.16...в clichouse-client запрос отрабатывает. Что примечательно если limit поменять с 1000 на 20 то clickhouse-server вернет 20 строк.... Не понимаю в чем мой косяк.
* TCP_NODELAY set
* Connected to 192.168.122.16 (192.168.122.16) port 8123 (#0)
* Server auth using Basic with user 'default'
> POST / HTTP/1.1
> Host: 192.168.122.16:8123
> Authorization: Basic ZGVmYXVsdDp2NjJSVVd5b1hDRDRScDE=
> User-Agent: curl/7.58.0
> Accept: */*
> Content-Length: 28
> Content-Type: application/x-www-form-urlencoded
>
* upload completely sent off: 28 out of 28 bytes
< HTTP/1.1 200 OK
< Date: Wed, 17 Jun 2020 18:26:22 GMT
< Connection: Keep-Alive
< Content-Type: text/tab-separated-values; charset=UTF-8
< X-ClickHouse-Server-Display-Name: localhost
< Transfer-Encoding: chunked
< X-ClickHouse-Query-Id: 9a1ace40-1720-4c1c-88eb-01214b38324c
< X-ClickHouse-Format: TabSeparated
< X-ClickHouse-Timezone: Etc/UTC
< Keep-Alive: timeout=300
< X-ClickHouse-Summary: {"read_rows":"0","read_bytes":"0","written_rows":"0","written_bytes":"0","total_rows_to_read":"0"}
<
* Recv failure: Connection reset by peer
* stopped the pause stream!
* Closing connection 0
curl: (56) Recv failure: Connection reset by peer
надо смотреть в лог на сервере. надо попробовать curl прямо на сервере
Возможно это баг 20.1 (уже исправленный), возможно сеть.
Возможно это баг 20.1 (уже исправленный), возможно сеть.
MM
ClickHouse server version 20.4.5 revision 54434
MM
Эта версия с багой?
MM
2020.06.17 18:41:26.954286 [ 20087 ] {} <Trace> HTTPHandler-factory: HTTP Request for HTTPHandler-factory. Method: POST, Address: 192.168.122.11:44934, User-Agent: curl/7.58.0, Length: 28, Content Type: application/x-www-form-urlencoded, Transfer Encoding: identity
2020.06.17 18:41:26.954460 [ 20087 ] {} <Trace> DynamicQueryHandler: Request URI: /
2020.06.17 18:41:26.954676 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Debug> executeQuery: (from 192.168.122.11:44934) SELECT * from table limit 20
2020.06.17 18:41:26.954882 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Trace> ContextAccess (default): Access granted: SELECT(privateKey, publicKey, email, type) ON default.table
2020.06.17 18:41:26.954973 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Debug> default.table (SelectExecutor): Key condition: unknown
2020.06.17 18:41:26.955003 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Debug> default.table (SelectExecutor): Selected 1 parts by date, 1 parts by key, 2 marks to read from 1 ranges
2020.06.17 18:41:26.955029 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Trace> MergeTreeSelectProcessor: Reading 1 ranges from part all_1_1_0, approx. 16384 rows starting from 0
2020.06.17 18:41:26.955056 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Trace> InterpreterSelectQuery: FetchColumns -> Complete
2020.06.17 18:41:26.956184 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Information> executeQuery: Read 20 rows, 2.37 KiB in 0.001 sec., 13692 rows/sec., 1.59 MiB/sec.
2020.06.17 18:41:26.956263 [ 20087 ] {c6c2de26-bc11-482f-8f8a-b0acc3603851} <Debug> MemoryTracker: Peak memory usage (for query): 4.06 MiB.
2020.06.17 18:41:26.956285 [ 20087 ] {} <Debug> MemoryTracker: Peak memory usage (for query): 4.06 MiB.
2020.06.17 18:41:26.956293 [ 20087 ] {} <Information> DynamicQueryHandler: Done processing queryMM
Сеть точно нет, проверил
Д
MM
надо смотреть в лог на сервере. надо попробовать curl прямо на сервере
Возможно это баг 20.1 (уже исправленный), возможно сеть.
Возможно это баг 20.1 (уже исправленный), возможно сеть.
попробовал прям на сервере curl работает - сеть! Теперь хоть понятно куда копать.
DC
попробовал прям на сервере curl работает - сеть! Теперь хоть понятно куда копать.
ping -s 1500 ....
если пакеты пропадают то это к сетевикам
если пакеты пропадают то это к сетевикам
D
вопрос. в консольном клиенте можно давать свои данные на вход и работать с ними.
https://clickhouse.tech/docs/en/single/index.html#external-data-for-query-processing
можно ли делать так в HTTP API (т.е. можно ли теоретически наворотить драйвер для поддержки этого)?
в документации HTTPAPI нет такого.
https://clickhouse.tech/docs/en/single/index.html#external-data-for-query-processing
можно ли делать так в HTTP API (т.е. можно ли теоретически наворотить драйвер для поддержки этого)?
в документации HTTPAPI нет такого.
DC
вопрос. в консольном клиенте можно давать свои данные на вход и работать с ними.
https://clickhouse.tech/docs/en/single/index.html#external-data-for-query-processing
можно ли делать так в HTTP API (т.е. можно ли теоретически наворотить драйвер для поддержки этого)?
в документации HTTPAPI нет такого.
https://clickhouse.tech/docs/en/single/index.html#external-data-for-query-processing
можно ли делать так в HTTP API (т.е. можно ли теоретически наворотить драйвер для поддержки этого)?
в документации HTTPAPI нет такого.
прямо по той ссылке вашей
When using the HTTP interface, external data is passed in the multipart/form-data format....
When using the HTTP interface, external data is passed in the multipart/form-data format....
DC
и пример с curl