Size: a a a

ClickHouse не тормозит

2020 May 20

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Kirillov
Всем привет!
Подскажите в чем может быть проблема. На стейдже обновились с 19.11.13.74 на 19.14.11.16 (lts). При запросах к distributed таблицам возникает ошибка:
Code: 209. DB::Exception: Received from localhost:9000. DB::NetException. DB::NetException: Timeout exceeded while reading from socket (...:9440): while receiving packet from ...:9440

При этом данные спокойно инсертятся через distributed и распределяются в кластере, можно подключиться к соседней ноде через remote, remoteSecure. Пробовали увеличивать все timeout connect, receive, send в том числе connect_timeout_with_failover_ms и пр.

Простые запросы вида select count() from table_name, select * from .. limit ..; проходят, ошибка пояляется на запросах чуть сложнее, содержащих uniq, order by и прочее. При этом пробовали обновляться до 19.17.9.60 - проблема исчезает.

Кто-нибудь может подсказать, это баг, или можно как-нибудь устранить?
источник

П

Павел Максимов... in ClickHouse не тормозит
Подскажите, возможно ли пронумеровать строки, без использования arrayEnumerate?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kid
нет(
сейчас еще добавил однин кусок.
он появился в system.detached_parts, делаю
alter table default.trips_mergetree attach partition 200906;
и опять валит ошибку
DB::Exception: Marks file '/var/lib/clickhouse/data/default/trips_mergetree/detached/attaching_20090601_20090630_17258_24250_4/vendor_id.mrk' doesn't exist (version 20.4.2.9 (official build))
права на парт owner clickhouse.clickhouse ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
Данные нужно обновлять, но для  чтения нужны целый вариант. Ещё есть одна проблема с обновлением, оно фактично будет пересоздавать таблицу стачала инсертом заедут новые данные потом старые. Во избижание дублей. Ну нас данные меняются.
можно писать в таблицу А читать из B, в какой-то момент выполнять "rename table B to B_to_drop, A to B" одним запросом
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Павел Максимов
Подскажите, возможно ли пронумеровать строки, без использования arrayEnumerate?
rownumberinallblocks
источник

П

Павел Максимов... in ClickHouse не тормозит
спасибо!
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
можно писать в таблицу А читать из B, в какой-то момент выполнять "rename table B to B_to_drop, A to B" одним запросом
Спасибо за идею.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
Спасибо за идею.
но вообще из прочитанного я бы на вашем месте взял postgre, нафиг тут не нужен КХ
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
87198 Skripko
Подскажите, монжо ли как-то "реиндексировать" пересоздать первичный индекс?
Столкнулся с тем, что поиск по индексу для некоторых полей возвращает не все данные:
По индексу
select count(*) from $table WHERE CityID = '15b9f91c-f775-11e7-80a7-00155d03330d'
┌─count()─┐
│  368688 │
└─────────┘
Без использования индекса
select count(*) from $table WHERE toString(CityID) = '15b9f91c-f775-11e7-80a7-00155d03330d'
┌──count()─┐
│ 26781483 │
└──────────┘
Гранулярность по дефолту 8192
да, это из-за бага в мутациях, обновить КХ до последнего в вашем major, детачнуть партицию, приатачить во временную таблицу и вставить insert into select *
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
но вообще из прочитанного я бы на вашем месте взял postgre, нафиг тут не нужен КХ
Я новый на проекте, насколько знаю с Postgres переехали. Основная идея насколько я понял, данные ростут очень быстро.
источник

8S

87198 Skripko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да, это из-за бага в мутациях, обновить КХ до последнего в вашем major, детачнуть партицию, приатачить во временную таблицу и вставить insert into select *
Спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
alexeysh RnD
Добрый день!
Надо переименовать таблицу. Что будет с матвью, которые на нее смотрит? И как правильно обработать ситуацию?
изменять MV, можно прямо на диске detach table MVname, правим .sql, attach table MVname
либо через attach materialized view что примерно тоже самое
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Evgeny Vorobyev
Всем привет! А как Вы считаете конец месяца? Встроенных функций на удивление нет
8 раз спрашивают и никто не сделал feature request
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kirill
dateTime DateTime64(3, 'Europe/Moscow'),
total Int8
runningAccumulate, или arrayCumSum
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Благов
всем привет, подскажите, как из кластера, состоящего из одного шарда и трёх реплик, исключить все реплики и сделать CH в одном экземпляре? Сейчас участвует 3 сервера с CH на них же установлены zookeeper. При этом есть 4 replicated таблицы и 4 replicated mv
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
выключить КХ, почикать в sql файлах Replicated ( zk path) , включить КХ
источник

АБ

Александр Благов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
выключить КХ, почикать в sql файлах Replicated ( zk path) , включить КХ
и всё ? без создания новой таблицы и переливания файлов ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Благов
и всё ? без создания новой таблицы и переливания файлов ?
да
источник

АБ

Александр Благов... in ClickHouse не тормозит
спасибо, это очень упрощает все действия
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sash Ganush
А можно на тех годах где только где инсёрт данных идёт?
можно, проблема в том что большинство не осознает что Distributed таблицы засылают insert во все реплики, поэтому проще отвечать что надо на всех
источник