Size: a a a

ClickHouse не тормозит

2020 July 06

IS

Ivan S in ClickHouse не тормозит
Да, сравню такой вариант с join-ом, спасибо 👍🏼
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Munir
Всем привет. Может уже было... Clickhouse-client в режиме мультикоманд в версии 20.1 работает просто прекрасно. Вставляю кучу скриптов через буфер - все ок. Клиент 20.3 не отделяет команды (которые через буфер вставляются) друг от друга. Это фича какая-то новая, про которую не знаю или специально закрыли?
Да теперь и для интерактива надо запускать клиент с ключом -m или с -mn
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Николаев
на локалке не было проблем
на сервере стал загружать данные
выскакивает
Memory limit (total) exceeded: would use 3.46 GiB (attempt to allocate chunk of 4369746 bytes), maximum: 3.46 GiB
У сервера 4 гб? кх не рассчитан на такое там под кеш макров 5гб по дефолту
источник

АН

Александр Николаев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
У сервера 4 гб? кх не рассчитан на такое там под кеш макров 5гб по дефолту
да, 3.8 ...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Николаев
да, 3.8 ...
скорее всего невозможно в проде такое использование. Зависит конечно от размера таблицы от ширины, от индекса и т.д. Минимум 16Гб надо, лучше 32. Я даже для разработки импользую 64.
источник

АН

Александр Николаев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
скорее всего невозможно в проде такое использование. Зависит конечно от размера таблицы от ширины, от индекса и т.д. Минимум 16Гб надо, лучше 32. Я даже для разработки импользую 64.
у нас не большая таблица, в 30000 продукций
но, в общем понял, что надо оперативки добавить
спасибо!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Николаев
у нас не большая таблица, в 30000 продукций
но, в общем понял, что надо оперативки добавить
спасибо!
Кх тогда зачем.  Pg берите
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Vasiliev
SELECT
   time AS Time,
   pod AS Pod,
   log AS Log
FROM logs
WHERE (time >= toDateTime(1594028956)) AND if('%' = '%', 1 = 1, host = ‘%’)


умеет ли оптимизатор понимать такие запросы (будет ли проверятся условие if для каждой строки или на жтапе оптимизации отбросятся)?
будет для каждой. Тут был  в чатике тест where 1=1 замедляло запрос
источник

АН

Александр Николаев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Кх тогда зачем.  Pg берите
решили его взять для быстрой многоколоночной фильтрации
источник

AE

Alexey Er in ClickHouse не тормозит
lnuynxa
database engine = mysql смотрел?
Эх, вот подставить параметр в подзапрос оно не желает...
источник

AE

Alexey Er in ClickHouse не тормозит
Подзапросы, наверно, парсер вообще недолюбливает :) Пытается их выполнить отдельно от основного, как-будто в другой базе:

SELECT 
   t.name,
   (
       SELECT account_id
       FROM my.account
       WHERE target_id = t.target_id
       LIMIT 1
   ) AS account_id
FROM my.targets AS t


Received exception from server (version 20.4.6):
Code: 47. DB::Exception: Received from localhost:9000. DB::Exception: Missing columns: 't.target_id' while processing query: 'SELECT account_id FROM FROM my.account WHERE target_id = t.target_id LIMIT 1', required columns: 'account_id' 'target_id' 't.target_id', source columns: 'account_id' 'target_id' 'id'.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey Er
Подзапросы, наверно, парсер вообще недолюбливает :) Пытается их выполнить отдельно от основного, как-будто в другой базе:

SELECT 
   t.name,
   (
       SELECT account_id
       FROM my.account
       WHERE target_id = t.target_id
       LIMIT 1
   ) AS account_id
FROM my.targets AS t


Received exception from server (version 20.4.6):
Code: 47. DB::Exception: Received from localhost:9000. DB::Exception: Missing columns: 't.target_id' while processing query: 'SELECT account_id FROM FROM my.account WHERE target_id = t.target_id LIMIT 1', required columns: 'account_id' 'target_id' 't.target_id', source columns: 'account_id' 'target_id' 'id'.
Кх не поддерживает коррелированные подзапросы. Конечно view в mysql надо делать
источник

l

lnuynxa in ClickHouse не тормозит
Alexey Er
Эх, вот подставить параметр в подзапрос оно не желает...
Вроде подстановки параметров для mysql собирались пилить.
источник

AE

Alexey Er in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Кх не поддерживает коррелированные подзапросы. Конечно view в mysql надо делать
Ясно, спасибо.
источник

AE

Alexey Er in ClickHouse не тормозит
lnuynxa
Вроде подстановки параметров для mysql собирались пилить.
Тут зашла бы просто передача запроса строкой, без парсинга вообще. Там же много ещё извращений на SQL можно накрутить, которые в КХ не поддерживаются (и не нужны).
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
Привет!
Появилась тут задача часть данных, попадающих в базу клика, лить в отдельную табличку на стороннем mysql, для аудита. Технически элементарно, сделал MAT VIEW, который смотрит на табличку с движком MySQL. Но нет ли тут подводных камней?
Что будет если завалится MySQL сервер, клик тоже встанет?
источник

AK

Alex Krash in ClickHouse не тормозит
Vasilij Abrosimov
Привет!
Появилась тут задача часть данных, попадающих в базу клика, лить в отдельную табличку на стороннем mysql, для аудита. Технически элементарно, сделал MAT VIEW, который смотрит на табличку с движком MySQL. Но нет ли тут подводных камней?
Что будет если завалится MySQL сервер, клик тоже встанет?
mat view это действия, выполняемые после вставки. если это действие не пройдёт, то данные всё равно останутся в source-таблице
источник

AK

Alex Krash in ClickHouse не тормозит
а клиент получит отлуп, что вставка сломалась (хотя это не до конца правда)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
обработка блоками поэтому инсерт в основную таблицу может завалится посередине.
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
Тогда конечно так себе решение. Спасибо!
источник