В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу
2020 September 13

АР

Андрей Романов... in ClickHouse не тормозит
подскажите пожалуйста, как можно создать таблицу над паркетными файлами?

только через формат HDFS, локально нельзя?
источник
16:41пожаловаться#1

АР

Андрей Романов... in ClickHouse не тормозит
я знаю, что есть  FORMAT Parquet

Как можно создать таблицу, которая работает с этим форматом?

В документации что-то я этого не нашел
источник
16:42пожаловаться#2

D

Dj in ClickHouse не тормозит
Андрей Романов
подскажите пожалуйста, как можно создать таблицу над паркетными файлами?

только через формат HDFS, локально нельзя?
https://clickhouse.tech/docs/en/engines/table-engines/special/file/
clickhouse.tech
File | ClickHouse Documentation
File Table Engine The File table engine keeps the data in a file in one of the supported file formats (TabSeparated, Nat
источник
16:43пожаловаться#3

АР

Андрей Романов... in ClickHouse не тормозит
Dj
https://clickhouse.tech/docs/en/engines/table-engines/special/file/
clickhouse.tech
File | ClickHouse Documentation
File Table Engine The File table engine keeps the data in a file in one of the supported file formats (TabSeparated, Nat
Понял, буду смотреть, спасибо
источник
16:48пожаловаться#4

Е

Екатерина in ClickHouse не тормозит
Екатерина
спасибо, я правильно понимаю, что перезапускать CH не нужно и параметр должен подватиться на лету?
в общем, запустили с установленным параметром, скорость стала выше, но, все равно неудовлетворительная, что-то еще можно сделать?
источник
16:50пожаловаться#5

D

Dj in ClickHouse не тормозит
Екатерина
в общем, запустили с установленным параметром, скорость стала выше, но, все равно неудовлетворительная, что-то еще можно сделать?
max_insert_threads ?
источник
16:55пожаловаться#6

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
max_insert_threads ?
Этот праметр не для этого
источник
17:00пожаловаться#7

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
в общем, запустили с установленным параметром, скорость стала выше, но, все равно неудовлетворительная, что-то еще можно сделать?
О каком кол-ве вообще речь? Т.е. сколько инсертов сколько строк сколько вьюх?
источник
17:01пожаловаться#8

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Этот праметр не для этого
ну как, тут проблема описана что не вставка тормозит, а последовательная вставка в МВ.

если одновременно 10 вставок делать, будет в общем быстрее. правда вставленных партов будет в 10 раз больше
источник
17:04пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
ну как, тут проблема описана что не вставка тормозит, а последовательная вставка в МВ.

если одновременно 10 вставок делать, будет в общем быстрее. правда вставленных партов будет в 10 раз больше
max_insert_thread действует на insert select. Когда селект возвращает много блоков, в случае mv таких селектов нет.
источник
17:07пожаловаться#10

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
max_insert_thread действует на insert select. Когда селект возвращает много блоков, в случае mv таких селектов нет.
так я про ускорение самого первого селекта... можно ускорять на стороне МВ, а можно на стороне исходно селекта
источник
17:08пожаловаться#11

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
О каком кол-ве вообще речь? Т.е. сколько инсертов сколько строк сколько вьюх?
50 вьюх, в основную таблицу данные попадают со скоростью от 3-х до 5 млн в минуту
источник
17:10пожаловаться#12

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
О каком кол-ве вообще речь? Т.е. сколько инсертов сколько строк сколько вьюх?
Max_insert_thread установлена по кол-ву ядер - 8, LA на машине показывает 3, CPU 39%
источник
17:11пожаловаться#13

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
так я про ускорение самого первого селекта... можно ускорять на стороне МВ, а можно на стороне исходно селекта
ясно
источник
17:12пожаловаться#14

Е

Екатерина in ClickHouse не тормозит
Екатерина
50 вьюх, в основную таблицу данные попадают со скоростью от 3-х до 5 млн в минуту
То есть, если бы не Вью, было бы быстрее, и я понимаю, что вьюхи тормозят, и может, это максимально возможная скорость, но почему сервер не нагружен?
источник
17:13пожаловаться#15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
50 вьюх, в основную таблицу данные попадают со скоростью от 3-х до 5 млн в минуту
ну так проблема в том что 50 вьюх, это 50 инсертов, 50 партов. КХ вообще не про это.
источник
17:13пожаловаться#16

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
То есть, если бы не Вью, было бы быстрее, и я понимаю, что вьюхи тормозят, и может, это максимально возможная скорость, но почему сервер не нагружен?
вы не туда смотрите,

покажите sar -d 1 10
источник
17:14пожаловаться#17

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вы не туда смотрите,

покажите sar -d 1 10
источник
17:19пожаловаться#18

D

Dj in ClickHouse не тормозит
Екатерина
IO же
источник
17:21пожаловаться#19

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
ожидаемо диски задыхаются, очередь мелких дисковых операций (создание тысяч файлов для 50 партов), 100% утилизации, дичайший await

компактные парты конечно помогут (NVME диски тоже), но в любом случае 50 MV это ужасный дизайн и неправильно
источник
17:22пожаловаться#20