Size: a a a

ClickHouse не тормозит

2020 May 27

Д

Дмитрий in ClickHouse не тормозит
Dmitry Titov
партиции скорее для более удобной манипуляции данными, чем для скорости
для скорости есть ORDER BY
большое спасибо)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Дмитрий
большое спасибо)
у меня партиции примерно по 3млрд записей+-
источник

AM

Alexander Malikov in ClickHouse не тормозит
Dmitry Titov
вообще лучше не стоит.
К примеру могут появляться предупреждения не совпадения данных 1 в  после мержа из за разных версий lz4 и тд
И тогда клик стягивает парт с другого сервера
но как тогда обновлять кх?
все реплики одновременно? *__*
или между обгновлениями разных нод будет лежать соответствующая репликация?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander Malikov
но как тогда обновлять кх?
все реплики одновременно? *__*
или между обгновлениями разных нод будет лежать соответствующая репликация?
По очереди, но желательно не задерживаться надолго.
А так кстати можно по шардам обновлять, тогда хотя бы вот этих предупреждений не будет.
источник

D

Dj in ClickHouse не тормозит
Alexey Milovidov
Эта фича перешла к одному из исполнителей, но этот человек потерял интерес к задаче. Сейчас доделывать будет изначальный автор в июле.
спасибо, будем ждать )
источник

AM

Alexander Malikov in ClickHouse не тормозит
Dmitry Titov
вообще лучше не стоит.
К примеру могут появляться предупреждения не совпадения данных 1 в  после мержа из за разных версий lz4 и тд
И тогда клик стягивает парт с другого сервера
а например вот такое:
Unsupported fetch protocol version

между 20.1 и 20.4
источник

AM

Alexander Malikov in ClickHouse не тормозит
это никак не лечится без бампа всех до 20.4? мож какой-то даунгрейд протокола есть
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander Malikov
а например вот такое:
Unsupported fetch protocol version

между 20.1 и 20.4
ох, вообще похоже на баг
источник

DT

Dmitry Titov in ClickHouse не тормозит
источник

AM

Alexander Malikov in ClickHouse не тормозит
оу
то есть нет шансов воспользоваться магией max_insert_threads ?
источник

AM

Alexander Malikov in ClickHouse не тормозит
которой в 20.1 нет
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander Malikov
оу
то есть нет шансов воспользоваться магией max_insert_threads ?
ну, на новых версиях можно(только устанавливать придется эту настройку у юзера), на старых не получится, кмк
источник

AM

Alexander Malikov in ClickHouse не тормозит
> устанавливать придется эту настройку у юзера
думал обойтись сессионной переменной
она так работает?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander Malikov
> устанавливать придется эту настройку у юзера
думал обойтись сессионной переменной
она так работает?
Ну, тут смотря как ты вставляешь данные.
просто если они могут прилететь на случайный сервер, то тогда на старых будет ошибка
источник

AM

Alexander Malikov in ClickHouse не тормозит
это мне для быстрого insert-selecta  нужно
оно ведь локально выполняет его?
а на реплики отправляет уже информацию о кусках ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander Malikov
это мне для быстрого insert-selecta  нужно
оно ведь локально выполняет его?
а на реплики отправляет уже информацию о кусках ?
да
источник

AM

Alexander Malikov in ClickHouse не тормозит
ну ок
спасибо! будем думать и следить за ишшей)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander Malikov
ну ок
спасибо! будем думать и следить за ишшей)
ну, ее закрыли, так что не думаю что будут какие то обновления)
источник

A

Andrey in ClickHouse не тормозит
Dmitry Titov
ну, если вас смущает объем данных, то можете.
На самом деле оно потихоньку само пережмет это дело в фоне.
В итоге после optimize final, колонки разрослись еще сильнее
источник

DT

Dmitry Titov in ClickHouse не тормозит
Andrey
В итоге после optimize final, колонки разрослись еще сильнее
ты какой запрос делаешь?
источник