DC
в прошоой версии это не считалось странным. Как раз предварительно резать заголовки во всем что каждый день приезжает странно
заводите баг тикет с примерами
Size: a a a
2020 July 29
DC
нее за ссылку и программеров с++ я понял
я про
я про
т.е. поднять новый КХ, создать бд/таблицы с новым синтаксисом и через
insert into table select * from remote('remote_host',db,table_remote_host,'user','pass');
заливали данные в новые КХ ?
заливал конечно, но только маленькие таблички
бессмысленно пытаться такое сделать для моих таблиц фактов, где 20-50TБ на каждой ноде
вам можно кусками, по месяцу where date between
бессмысленно пытаться такое сделать для моих таблиц фактов, где 20-50TБ на каждой ноде
вам можно кусками, по месяцу where date between
K
добрый день. не подскажете что за ошибка такая
{} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 6.88 GiB (attempt to allocate chunk of 4502984 bytes), maximum: 6.87 GiB,
почему не хватает памяти, если бд у меня пока что маленькая. 2.5GB
{} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 6.88 GiB (attempt to allocate chunk of 4502984 bytes), maximum: 6.87 GiB,
почему не хватает памяти, если бд у меня пока что маленькая. 2.5GB
DC
Kos
добрый день. не подскажете что за ошибка такая
{} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 6.88 GiB (attempt to allocate chunk of 4502984 bytes), maximum: 6.87 GiB,
почему не хватает памяти, если бд у меня пока что маленькая. 2.5GB
{} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 6.88 GiB (attempt to allocate chunk of 4502984 bytes), maximum: 6.87 GiB,
почему не хватает памяти, если бд у меня пока что маленькая. 2.5GB
потому что КХ так работает, ему с дефолтными настройками надо много памяти для просто работы , плюс скажите версию, очевидно что вы наткнулись на баг с аккаунтингом
K
версия 20.5.3.27
K
на сервере 8 гигов. поставил ограничение <max_memory_usage>6000000000</max_memory_usage>
K
посмотрю пойдет ли. или придется понизить ещё
K
а что за баг с аккаунтингом?
DM
ну я не знаю что у вас в массиве хранится, вы понимаете что результат разный ?
я думаю что hasAll немного быстрее, и в этом случае можно использовать просто has , это еще быстрее
SELECT
hasAll(x, ['кремль']) AS a,
arrayExists(i -> (i LIKE '%кремль%'), x) AS b
FROM
(
SELECT ['гугг, кремльб ппппэ'] AS x
)
┌─a─┬─b─┐
│ 0 │ 1 │
└───┴───┘
я думаю что hasAll немного быстрее, и в этом случае можно использовать просто has , это еще быстрее
Да, это понимаю. Спасибо большое!
K
потому что КХ так работает, ему с дефолтными настройками надо много памяти для просто работы , плюс скажите версию, очевидно что вы наткнулись на баг с аккаунтингом
так то у меня в конфиге прописано было
<max_server_memory_usage>0</max_server_memory_usage>
<!-- On memory constrained environments you may have to set this to value larger than 1.
-->
<max_server_memory_usage_to_ram_ratio>0.9</max_server_memory_usage_to_ram_ratio>
я думал это достаточно для ограничения максимальной планки выделения памяти.
<max_server_memory_usage>0</max_server_memory_usage>
<!-- On memory constrained environments you may have to set this to value larger than 1.
-->
<max_server_memory_usage_to_ram_ratio>0.9</max_server_memory_usage_to_ram_ratio>
я думал это достаточно для ограничения максимальной планки выделения памяти.
DC
Kos
на сервере 8 гигов. поставил ограничение <max_memory_usage>6000000000</max_memory_usage>
max_memory_usage это ограничение про сессию, на запрос , вам надо max_server_memory_usage задирать чтобы оно больше было раз в 10 чем памяти у вас
max_server_memory_usage_to_ram_ratio>10
баги https://github.com/ClickHouse/ClickHouse/issues/12583 https://github.com/ClickHouse/ClickHouse/issues/11153
max_server_memory_usage_to_ram_ratio>10
баги https://github.com/ClickHouse/ClickHouse/issues/12583 https://github.com/ClickHouse/ClickHouse/issues/11153
K
max_memory_usage это ограничение про сессию, на запрос , вам надо max_server_memory_usage задирать чтобы оно больше было раз в 10 чем памяти у вас
max_server_memory_usage_to_ram_ratio>10
баги https://github.com/ClickHouse/ClickHouse/issues/12583 https://github.com/ClickHouse/ClickHouse/issues/11153
max_server_memory_usage_to_ram_ratio>10
баги https://github.com/ClickHouse/ClickHouse/issues/12583 https://github.com/ClickHouse/ClickHouse/issues/11153
max_server_memory_usage поставить 80 гигабайт ?? хм, а почему так?
S
странная ситуация: не видны данные в ReplicatedMergeTree таблице. уже пересоздали реплику таблицы. очередь репликации рассасывается (значение system.replicas.queue_size последовательно уменьшается), вывод "du --max-depth=1 /var/lib/clickhouse/data/default" говорит о том, что объем на диске в каталоге таблицы прирастает. но вывод select count(*) из таблицы возвращает нуль.
EK
Подскажите, а в настройках внешних словарей через файлы можно указывать пароли через енв переменную?
DS
Всем привет! Пожалуйста, подскажите, как лучшая практика для того, чтобы сжать таблицу и ускорить скорость выполнения запроса (первое - в приоритете)? TBL => MV => V?
VB
Всем привет! Пожалуйста, подскажите, как лучшая практика для того, чтобы сжать таблицу и ускорить скорость выполнения запроса (первое - в приоритете)? TBL => MV => V?
Играться с партиционирыванием и ключом сортировки
DS
Играться с партиционирыванием и ключом сортировки
~___~
VB
~___~
ну тут очень специфично все может быть и зависит от хранимых данных
DS
Играться с партиционирыванием и ключом сортировки
больше партиция = меньше места?