в месяц

с каждого инстанса

это возможно баг в ядре который показывает кривые числа для NVME

что показывает sar -d 1 10

у тебя не azure?

в дргуих бд проблема обычно из-за медленных auth и создания процесса для мелких запросов длиной пару мс.
у кх запросы долгие поэтому оверхед tcp не так больно стреляет.
и можно по нормальному все сделать и избавится от tcp коннекта на каждый запрос

если это NVME то однозначно это баг ядра, апгрейдите ядро в 5.5

вот я тоже думаю что надо идти к норме. сейчас смотрю на мейлру драйвер, может он себя лучше покажет.

там http. т.е. http будет на каждый запрос, а tcp через keepalive

ууу. окей. копаю родной драйвер дальше

Чиста для прикола :)
Linux 3.10.0-514.26.2.el7.x86_64 (ip-10-37-182-106.ec2.internal)        07/06/2020      _x86_64_        (4 CPU)

06:03:34 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
06:03:35 PM  dev202-0    101.00      0.00   1416.00     14.02      0.06      0.59      0.57      5.80

Блин, не та виртуалка...
Вот моя КХ, через которую всё вливается на довольно дохлое железо...
Linux 3.10.0-1127.10.1.el7.x86_64 (ХХ-CLHS-001)         07/06/2020      _x86_64_        (4 CPU)

06:08:58 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
06:08:59 PM   dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
06:08:59 PM    dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
06:08:59 PM  dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
06:08:59 PM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
06:08:59 PM  dev253-2      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

вот NVME 5.5.17-1

06:09:53 PM       DEV       tps     rkB/s     wkB/s   areq-sz    aqu-sz     await     svctm     %util
06:09:54 PM  dev259-0   1853.00 474992.00      0.00    256.34      0.37      1.16      0.21     38.00
06:09:54 PM  dev259-1   1948.00 494928.00     96.00    254.12      0.86      1.63      0.20     38.40
06:09:54 PM    dev9-1   4431.00 1391408.00     96.00    314.04      0.00      0.00      0.00      0.00
06:09:54 PM    dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

в 4.19 всегда util был 100%

06:09:53 PM       DEV       tps     rkB/s     wkB/s   areq-sz    aqu-sz     await     svctm     %util
06:09:54 PM  dev259-0   1853.00 474992.00      0.00    256.34      0.37      1.16      0.21     38.00
06:09:54 PM  dev259-1   1948.00 494928.00     96.00    254.12      0.86      1.63      0.20     38.40
06:09:54 PM    dev9-1   4431.00 1391408.00     96.00    314.04      0.00      0.00      0.00      0.00
06:09:54 PM    dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Ничёси вы новаторы :)
У нас Centos 8  никак не приживётся :)))

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/%table%’, '{replica}')
           PARTITION BY toYYYYMM(created_at)
           ORDER BY (project_id, created_at, intHash32(project_id))
           SAMPLE BY intHash32(project_id);

ну вот индекс - вроде нормальный

у меня 8 центось и 5,7 ядро

Злыдень :)
Кажись мы на 8-ю лет через 5 будем уезжать....

я вообще fedora бы поставил, да пакетов нет

мне вот сейчас больше интересно, сколько махинаций придётся сделать, чтобы распределить  равномерно 700 гб

Походу podman/docker будет рулить аццки...