Size: a a a

ClickHouse не тормозит

2021 March 15

MM

Maxim Mezhekov in ClickHouse не тормозит
Maxim Mezhekov
Привет, есть такой кейс на хосте есть 3 диска, клик заполнил первый, решили добавить в конфиг оставшиеся 2, в текущюю политику default при добавлении нового volume в лог начинает писать что в новых дисках нет тех или иных данных. Это нормальное поведение или так не делаю. Вообще как на рабочем кликхаусе добавить дополнительно диск без потери данных и переливки таблиц?
вот такое в конфиг добавил
    <storage_configuration>
       <disks>
           <disk2>
               <path>/var/lib/clickhouse_2/</path>
           </disk2>
           <disk3>
               <path>/var/lib/clickhouse_3/</path>
           </disk3>
       </disks>


       <policies>
           <default>
               <volumes>
                   <default>
                       <disk>default</disk>
                       <max_data_part_size_bytes>50000000</max_data_part_size_bytes>
                   </default>
                   <data>
                       <disk>disk2</disk>
                       <disk>disk3</disk>
                   </data>
              </volumes>
              <move_factor>0.97</move_factor>
           </default>
       </policies>
   </storage_configuration>
источник

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
The maximum size of an array is limited to one million elements.

select range(1000001) format Null;
DB::Exception: Array of size 1000001 is too large to be manipulated as single field, maximum size 1000000.
Зачем же мы тогда платим лишними 4 байтами  для длины массива c UInt64?
источник

AN

Alexandr Novikov in ClickHouse не тормозит
Dj
Нет, просто старые данные станут недоступны вроде, ошибка на старте промотается по идее.
если переезд старых данных по ТТЛ/move factor - ошибок будет много.
По ttl планировал переезд делать
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Titov
Зачем же мы тогда платим лишними 4 байтами  для длины массива c UInt64?
ты про диск? или про память? я не понял
может лимит раньше был другой, я хз
источник

D

Danil in ClickHouse не тормозит
к сожалению, консольный клиент не принимает except() - ошибка синтаксиса

внутри clickhouse-client работает как описано в документации
источник

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ты про диск? или про память? я не понял
может лимит раньше был другой, я хз
Ну про диск и про память, да
┌─byteSize(array())─┬─byteSize([1])─┬─byteSize([1, 1, 1, 1])─┐
│                 8 │             9 │                     12 │
└───────────────────┴───────────────┴────────────────────────┘
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Titov
Ну про диск и про память, да
┌─byteSize(array())─┬─byteSize([1])─┬─byteSize([1, 1, 1, 1])─┐
│                 8 │             9 │                     12 │
└───────────────────┴───────────────┴────────────────────────┘
не знаю, задел на будущее может
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
к сожалению, консольный клиент не принимает except() - ошибка синтаксиса

внутри clickhouse-client работает как описано в документации
>консольный клиент не принимает except() - ошибка синтаксиса
>внутри clickhouse-client работает как описано в документации

вижу противоречие тут я

(версия-то какая?)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir Bunchuk
выключил
не помогло
на ноде остается висеть вечный запрос
Да, с утра не заметил что условие не влияет на подгрузку моделей.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir Bunchuk
выключил
не помогло
на ноде остается висеть вечный запрос
Тогда нужно писать багрепорт на гитхаб, моделями пользуется меньшинство так что вдруг заметят и пофиксят
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
>консольный клиент не принимает except() - ошибка синтаксиса
>внутри clickhouse-client работает как описано в документации

вижу противоречие тут я

(версия-то какая?)
21.2.4.6

если подключаюсь клиентом то в нём запрос с except() работает

если пытаюсь сделать запрос для отдачи пайпом другому клиенту - на except() выдаёт ошибку
источник

SS

Sergey Surkov in ClickHouse не тормозит
Коллеги, привет! Может кто-то сможет подсказать какая примерно потребуется инфра под 15к EPS для ClickHouse? И сможет ли ClickHouse столько переварить ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
21.2.4.6

если подключаюсь клиентом то в нём запрос с except() работает

если пытаюсь сделать запрос для отдачи пайпом другому клиенту - на except() выдаёт ошибку
вы кстати в курсе что есть remote() и можно без пайпов, один КХ может селектить и инсертить в другой
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вы кстати в курсе что есть remote() и можно без пайпов, один КХ может селектить и инсертить в другой
судя по всему нет )
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Surkov
Коллеги, привет! Может кто-то сможет подсказать какая примерно потребуется инфра под 15к EPS для ClickHouse? И сможет ли ClickHouse столько переварить ?
для 15к EPS размером 16 байт, и для 15к EPS размером 1.5кб , понадобятся 2 сервера которые отличаются в 20 раз
источник

M

Mishanya in ClickHouse не тормозит
Ребят, в чем прпоблема может быть ?

есть два запроса


select countIf(action = ‘my_action and status = ‘my_status’) from my_table inner join another table
=> 1000



create view my_view AS
 select
    id,
    status,
    action
  from my_table
  inner join another table

select countIf(action = ‘my_action and status = ‘my_status’) from my_view
=> 0


это как так ?
источник

M

Mikhail in ClickHouse не тормозит
Mikhail
Привет, а подскажите плз кейсы, когда Distributed в асинхронном режиме теряет инсерты, кроме рестартов/падений шардов? и пишет ли в лог что-то кх, когда теряется такой инсерт?
@den_crane буду признателен за инфу
источник

SS

Sergey Surkov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
для 15к EPS размером 16 байт, и для 15к EPS размером 1.5кб , понадобятся 2 сервера которые отличаются в 20 раз
В среднем 500 байт будет событие CEF, может есть где-то информация по сайзингу? В документации не нашёл
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
а нет ли в Clickhouse пользовательского типа set, как array, только с уникальными значениями?
источник

D

Dj in ClickHouse не тормозит
Alexandr Novikov
По ttl планировал переезд делать
ну будет много ошибок в логах, но все должно работаеть
источник