Size: a a a

ClickHouse не тормозит

2021 March 25

K

Kid in ClickHouse не тормозит
Nekto
поясните пожалуйста , я думал что ReplacingMergeTree - это и есть удаление дубликатов в базе, поэтому и выбрали этот движок
Да, этот движок в фоне удаляет дубликаты записей c одинаковым ключом сортировки. Но слияние происходит в неизвестный момент времени, и вообще не дает гарантии их отсутствия.
Но когда вы выполняете запрос с final, вы вызываете мердж. И соответсвенно это займет какое-то время. Думаю, бОльшее, чем без него
источник

K

Kid in ClickHouse не тормозит
final нормально работает на небольшой таблице, если она большая все же лучше через агрегацию и группировки получить данные.
источник

N

Nekto in ClickHouse не тормозит
Kid
final нормально работает на небольшой таблице, если она большая все же лучше через агрегацию и группировки получить данные.
Понял, спасибо
источник

П

Павел Максимов... in ClickHouse не тормозит
Подскажите пожалуйста, как отключить эту проверку?
Estimated query execution time (698.2108063970212 seconds) is too long. Maximum: 500. Estimated rows to process: 34563546: While executing MergeTreeThread
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Павел Максимов
Подскажите пожалуйста, как отключить эту проверку?
Estimated query execution time (698.2108063970212 seconds) is too long. Maximum: 500. Estimated rows to process: 34563546: While executing MergeTreeThread
вопрос с подвохом? в смысле ошибка возникает прямо при запуске запроса?
тогда timeout_before_checking_execution_speed=0
источник

П

Павел Максимов... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вопрос с подвохом? в смысле ошибка возникает прямо при запуске запроса?
тогда timeout_before_checking_execution_speed=0
запрос отправляется, но через несколько минут падает
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Павел Максимов
запрос отправляется, но через несколько минут падает
тогда видимо max_execution_time = 0
источник

П

Павел Максимов... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
тогда видимо max_execution_time = 0
попробую, спасибо
источник

ДП

Даниил Погудин... in ClickHouse не тормозит
Привет
Подскажите как настроить сериализатор в Джанго кликхаус
Подружить получилось, в консоль выводится содержимое
Но не очень понимаю как отправить сериализованные данные
Или может у кого то есть проект на гитхабе призучать?
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Павел Максимов
попробую, спасибо
обычно ограничение установлено не просто так, как-то странно что вы спрашиваете это в чате.
т.е. вас админ ограничил, а вы пытаетесь это обойти
источник
2021 March 26

BG

Buddy Glass in ClickHouse не тормозит
Добрый день!
Вижу на реплике много записей в логе вида:
<Information> HTTPSessionPool: No free connections in pool. Waiting.

не могу понять что именно происходит, какой пул переполнился и что с этим делать.
В документации ничего похожего не нашел.
Кто-нибудь сталкивался с подобным?
источник

RK

Rebrikov Konstantin in ClickHouse не тормозит
Buddy Glass
Добрый день!
Вижу на реплике много записей в логе вида:
<Information> HTTPSessionPool: No free connections in pool. Waiting.

не могу понять что именно происходит, какой пул переполнился и что с этим делать.
В документации ничего похожего не нашел.
Кто-нибудь сталкивался с подобным?
Посмотрите поиском в истории канала (группы) по слову background_fetches_pool_size - возможно это как раз ваш случай
источник

BG

Buddy Glass in ClickHouse не тормозит
Rebrikov Konstantin
Посмотрите поиском в истории канала (группы) по слову background_fetches_pool_size - возможно это как раз ваш случай
Спасибо большое!
источник

СК

Саша Козлов... in ClickHouse не тормозит
Добрый день.
как посмотреть текущие реалтайм настройки сервера?
установить написано как SET setting=value
а как узнать ?
источник

K

Kid in ClickHouse не тормозит
Саша Козлов
Добрый день.
как посмотреть текущие реалтайм настройки сервера?
установить написано как SET setting=value
а как узнать ?
select * from system.settings;
источник

СК

Саша Козлов... in ClickHouse не тормозит
спасибо огромное.

тут сразу следующий вопрос. напоролся на ошибку

Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 1.61 GiB (attempt to allocate chunk of 4456448
bytes), maximum: 1.61 GiB.

в пустую таблицу заливаю из файла данные

INSERT INTO t1 (u1) FORMAT CSV

раньше отрабатывало. данных сильно больше не стало. только CH обновлял. настройки сервера почти дефолтовые.
источник

СК

Саша Козлов... in ClickHouse не тормозит
сервер одиночный
источник

СК

Саша Козлов... in ClickHouse не тормозит
пишут про distributed_aggregation_memory_efficient = 1. но он включен и вроде как для одиночных серверов и не актуально
источник

СК

Саша Козлов... in ClickHouse не тормозит
и самое интересное что сам инсерт отработал целиком нормально.
это уже после того как он закончил - сервер высыпал ошибку
источник

S

Slach in ClickHouse не тормозит
Саша Козлов
и самое интересное что сам инсерт отработал целиком нормально.
это уже после того как он закончил - сервер высыпал ошибку
ну ошибку то наверное тогда на другое вывалило
смотрите логи /var/log/clickhouse-server/ там query-id есть в которой ошибка случилась
источник