Size: a a a

ClickHouse не тормозит

2021 February 04

G

Gennadiy in ClickHouse не тормозит
Brahma Kumaris
Подскажите пожалуйста, можно ли при создании базы данных указать ей место для хранения данных в соответствии с какой-то политикой хранения?
Хочу создать MaterializedMySQL на другом диске
В конфигурации есть system.storage_policies
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Grisha Egorov
Есть несколко вопросов по Buffer таблице:
> Заметим, что даже для таблиц типа Buffer не имеет смысла вставлять данные по одной строке, так как таким образом будет достигнута скорость всего лишь в несколько тысяч строк в секунду…
Понимаю что это довольно условно, но имеется ввиду запись в одну таблицу или в общем по кластеру.
Сейчас есть одна табличка, в нее идет порядка 4k одиночных записей в секунду, можно ли обойтись Buffer?
Так же несовсем понятен смысл этого
> Если таблица назначения является реплицируемой, то при записи в таблицу Buffer будут потеряны некоторые ожидаемые свойства реплицируемых таблиц.
Может кто-то расшифровать?
1 можно

2 у replicated таблиц есть фича -- дедупликация инсертов. Если инсерт совпадает до бита с одним из предыдущих, он будет пропущен.
буферная таблица склеивает инсерты, поэтому они не совпадают до бита, поэтому дедупликация инсертов не работает
источник

BB

Bral Bral in ClickHouse не тормозит
Добрый день, имеет смысл использовать кодеки на колонки SimpleAggrefation ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Bral Bral
Добрый день, имеет смысл использовать кодеки на колонки SimpleAggrefation ?
да
источник

BB

Bral Bral in ClickHouse не тормозит
Благодарю .
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
например https://github.com/ClickHouse/ClickHouse/issues/17775#issuecomment-738880540 SimpleAggregateFunction(sum, UInt64) CODEC(T64, LZ4)
источник

S

Slach in ClickHouse не тормозит
Artem Z
Привет, ткните пожалуйста куда почитать, как правильно удалить колонку использующуюся в ключе? Я так понимаю это причина ошибки DB::Exception: ALTER of key column <column_name> must be metadata-only
создать новую таблицу с новой структурой и сделать INSERT INTO ... SELECT...
проверить запросы
потом удалить старую таблицу
новую переименовать если надо
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а curl через http с RowBinaryWithNamesAndTypes сколько дает?
16 сек) и с него сетка до 2гбит нагружается. А когда odbc драйвер, то 1 минута и сетка примерно до 500мбит нагружается
источник

S

Slach in ClickHouse не тормозит
Sergey Sesiunin
Всем привет! Есть тут эксперты по odbc-драйверу? Нормальная ли производительность, фулскан с винды через odbc-драйвер таблицы 1 млн строк и 472 столбца, занимает 1 минуту в формате RowBinaryWithNamesAndTypes? При этом пробовали через нативный clickhouse-client, там скорость в таком же формате около 12 сек. Упора в сетку/цп/озу нигде нет, ни на сервере ни на клиенте. Пробовали как с одной ноды дергать, так и с кластера в 2 и 5 нод, используя distributed таблицу, результаты примерно одинаковые +- 1-2сек, что наверное погрешность. Как-то ещё можно ускорить или всё-таки упор уже в драйвер ? В таблице в основном числовые значения
odbc драйвер как измеряли? на каком то языке? или time isql ?
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Slach
odbc драйвер как измеряли? на каком то языке? или time isql ?
У нас есть bi, который умеет через odbc подключаться. Смотрел по логам время которое тратится на сам запрос,  без учёта отрисовки данных. А что, через curl производительность должна быть такая же как и через odbc драйвер?
источник

S

Slach in ClickHouse не тормозит
Sergey Sesiunin
У нас есть bi, который умеет через odbc подключаться. Смотрел по логам время которое тратится на сам запрос,  без учёта отрисовки данных. А что, через curl производительность должна быть такая же как и через odbc драйвер?
нет, производительность BI может быть не той что вы ожидаете и узким местом может быть не драйвер, а то, как BI его использует

time isql ...
что говорит?
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Slach
нет, производительность BI может быть не той что вы ожидаете и узким местом может быть не драйвер, а то, как BI его использует

time isql ...
что говорит?
Это не смотрели. У нас все клиенты виндовые. Я так понимаю isql надо с линуха ?
источник

AP

Alexander Petrov in ClickHouse не тормозит
Sergey Sesiunin
Всем привет! Есть тут эксперты по odbc-драйверу? Нормальная ли производительность, фулскан с винды через odbc-драйвер таблицы 1 млн строк и 472 столбца, занимает 1 минуту в формате RowBinaryWithNamesAndTypes? При этом пробовали через нативный clickhouse-client, там скорость в таком же формате около 12 сек. Упора в сетку/цп/озу нигде нет, ни на сервере ни на клиенте. Пробовали как с одной ноды дергать, так и с кластера в 2 и 5 нод, используя distributed таблицу, результаты примерно одинаковые +- 1-2сек, что наверное погрешность. Как-то ещё можно ускорить или всё-таки упор уже в драйвер ? В таблице в основном числовые значения
Год назад были похожие проблемы с производительностью при выборе большого кол-ва строк из ClickHouse при помощи виндового odbc драйвера. Дамп трафика показал что используются очень маленькие пакеты для пересылки данных. В итоге просто написали кастомный коннектор для своего BI, обращающийся к ClickHouse по http. Это позволило значительно ускорить процесс получения данных.
источник

AP

Alexander Petrov in ClickHouse не тормозит
Sergey Sesiunin
Всем привет! Есть тут эксперты по odbc-драйверу? Нормальная ли производительность, фулскан с винды через odbc-драйвер таблицы 1 млн строк и 472 столбца, занимает 1 минуту в формате RowBinaryWithNamesAndTypes? При этом пробовали через нативный clickhouse-client, там скорость в таком же формате около 12 сек. Упора в сетку/цп/озу нигде нет, ни на сервере ни на клиенте. Пробовали как с одной ноды дергать, так и с кластера в 2 и 5 нод, используя distributed таблицу, результаты примерно одинаковые +- 1-2сек, что наверное погрешность. Как-то ещё можно ускорить или всё-таки упор уже в драйвер ? В таблице в основном числовые значения
Симптомы были похожие. Ни где затыка вроде нет, а запрос выполняется оочень медленно при большом кол-ве строк в результатах запроса.
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Alexander Petrov
Год назад были похожие проблемы с производительностью при выборе большого кол-ва строк из ClickHouse при помощи виндового odbc драйвера. Дамп трафика показал что используются очень маленькие пакеты для пересылки данных. В итоге просто написали кастомный коннектор для своего BI, обращающийся к ClickHouse по http. Это позволило значительно ускорить процесс получения данных.
А что у вас за bi, если не секрет? Я ещё хочу покопаться и выяснить, может действительно наш bi не очень хорошо работает с драйвером и из за него проблемы
источник

AP

Alexander Petrov in ClickHouse не тормозит
Sergey Sesiunin
А что у вас за bi, если не секрет? Я ещё хочу покопаться и выяснить, может действительно наш bi не очень хорошо работает с драйвером и из за него проблемы
QlikView
источник

S

Slach in ClickHouse не тормозит
Sergey Sesiunin
Это не смотрели. У нас все клиенты виндовые. Я так понимаю isql надо с линуха ?
ой точно
под винду компилируется вот это
https://crates.io/crates/odbc-tools

могу собранные .exe положить куда нибудь
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Slach
ой точно
под винду компилируется вот это
https://crates.io/crates/odbc-tools

могу собранные .exe положить куда нибудь
Буду благодарен)
источник

NZ

Nikolay Zykov in ClickHouse не тормозит
/report
источник

S

Slach in ClickHouse не тормозит
Sergey Sesiunin
Буду благодарен)
https://mega.nz/file/LUw0DZAB#1H7raEbeDno7jZjIMaV6zGQU9Z4-fNNTzzCh1BXXtRE

драйвер ставил последнюю версию с github

советую поставить какой нибудь cygwin или git-bash

и в нем запускать как
time odbc-query.exe  "DSN=clickhouse_dsn" vertical "SELECT number FROM numbers(1000000)" > /dev/null
источник