Size: a a a

ClickHouse не тормозит

2020 September 28

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Евгений Овчинников
Развернул бэкап таблицы, сделанной копией данных через FREEZE - ATTACH

проблема в том, что съезжает колонка EventDate

CREATE TABLE restored.test_participants_answers (
 `EventDate` Date,
 `EventTime` DateTime,
.
.
.
 `ResolutionWidth` Int16,
 `ResolutionHeight` Int16
) ENGINE = ReplicatedReplacingMergeTree(
 '/clickhouse/tables/{layer}-{shard}/test_participants_answers',
 '{replica}',
 EventDate,
 (TestHash, ParticipantHash, QuestionHash),
 8192,
 EventTime
)


┌──EventDate─┬───────────EventTime─┬──UserId─┐
│ 2020-09-27 │ 2020-09-26 21:04:04 │  643069 │
│ 2020-09-27 │ 2020-09-26 21:04:35 │ 1857778 │
│ 2020-09-27 │ 2020-09-26 21:05:01 │ 1851307 │
│ 2020-09-27 │ 2020-09-26 21:10:11 │ 1753693 │
│ 2020-09-27 │ 2020-09-26 21:10:40 │ 1795723 │
└────────────┴─────────────────────┴─────────┘
EventDate был равен EventTime (по YYMMDD)
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Евгений Овчинников
EventDate был равен EventTime (по YYMMDD)
похоже проблема в часовом поясе отличном от сервера донора.
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
нет, смена пояса не помогла, при этом count () показывает верное число строк, а  в селекты идет со смещением. При чем смещение на 3 часа. По строкам начало дня это 21:00
источник

DA

Dima Admin in ClickHouse не тормозит
Евгений Овчинников
похоже проблема в часовом поясе отличном от сервера донора.
так и есть, просто импорт заоново сделайте
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Dima Admin
так и есть, просто импорт заоново сделайте
удалил базу, заново выполнил процедуру восстановления, не помогло
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
попробую ребутнуть службу КХ
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
ну прям напрашивается что дело во временной зоне
источник

DA

Dima Admin in ClickHouse не тормозит
Евгений Овчинников
удалил базу, заново выполнил процедуру восстановления, не помогло
- транкейт базы
- dpkg-reconfigure tzdata
- restart clickhouse-server
- импорт данных

-- вот так на 19.9 решили точно такую же проблему
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
круть, я сам догадался что надо сделать)
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Dima Admin
- транкейт базы
- dpkg-reconfigure tzdata
- restart clickhouse-server
- импорт данных

-- вот так на 19.9 решили точно такую же проблему
Спасибо
источник

R

Roman in ClickHouse не тормозит
Всем привет. Подскажите пожалуйста. Вставляем данные в Distibuted таблицу Clickhouse и кажется, что некоторые записи долетают очень долго. Хотим начать вставлять данные в ReplicatedMergeTree таблицу, но кажется тогда возникнет проблема с шардированием (данные не будут раскидываться по шардам).

Может ли кто-то подсказать оптимальный способ вставки данных в этой ситуации.
источник

S

Shazo in ClickHouse не тормозит
тот кто пишет, пусть и выбирает шард)
источник

D

Dj in ClickHouse не тормозит
Roman
Всем привет. Подскажите пожалуйста. Вставляем данные в Distibuted таблицу Clickhouse и кажется, что некоторые записи долетают очень долго. Хотим начать вставлять данные в ReplicatedMergeTree таблицу, но кажется тогда возникнет проблема с шардированием (данные не будут раскидываться по шардам).

Может ли кто-то подсказать оптимальный способ вставки данных в этой ситуации.
через distributed медленней (по сути два раза пишете). так себе на больших объемах.
лучше со стороны клиента раскладывать по шардам (но это придется самому писать)
источник

R

Roman in ClickHouse не тормозит
Dj
через distributed медленней (по сути два раза пишете). так себе на больших объемах.
лучше со стороны клиента раскладывать по шардам (но это придется самому писать)
Спасибо!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander T
можно как-то исключить колонку из селекта? нагуглил какой-то пуллреквест, где написано implemented и пример select * except(colname), но не работает.
возможно это только в testing

в 20.10 работает SELECT * except (cat)
источник

DL

Dmitry Lukovkin in ClickHouse не тормозит
Подскажите куда смотреть для проверки репликации? Конфиг следущий: CH на двух серверах. ZK 1. Для теста и учебы. С обоих CH серверов виден ZK сервер(на сервере ZK видны 2 моих сервера CH и у обоих- (queued=0,recved=121,sent=121)). Но при добавлении данных в реплицируемую таблицу, данные не прилетают на второй сервер. От куда начинать диагностику?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Lukovkin
Подскажите куда смотреть для проверки репликации? Конфиг следущий: CH на двух серверах. ZK 1. Для теста и учебы. С обоих CH серверов виден ZK сервер(на сервере ZK видны 2 моих сервера CH и у обоих- (queued=0,recved=121,sent=121)). Но при добавлении данных в реплицируемую таблицу, данные не прилетают на второй сервер. От куда начинать диагностику?
а таблицы с engine=Replicated* ?
в system.replication_queue есть поле exception
источник

DL

Dmitry Lukovkin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а таблицы с engine=Replicated* ?
в system.replication_queue есть поле exception
Создавал таблицу как в примере:
CREATE TABLE test.replic(UID UInt64,  rec_date Date DEFAULT today(),  event_date DateTime,  event_type String  ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/04/test_tbl', '01', rec_date, (event_date, event_type, UID), 8192);

В system.replication_queue пусто
SELECT * FROM system.replication_queue

SELECT *
FROM system.replication_queue

Ok.

0 rows in set. Elapsed: 0.002 sec.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Lukovkin
Создавал таблицу как в примере:
CREATE TABLE test.replic(UID UInt64,  rec_date Date DEFAULT today(),  event_date DateTime,  event_type String  ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/04/test_tbl', '01', rec_date, (event_date, event_type, UID), 8192);

В system.replication_queue пусто
SELECT * FROM system.replication_queue

SELECT *
FROM system.replication_queue

Ok.

0 rows in set. Elapsed: 0.002 sec.
на обоих серверах 04 '01' ?
источник

DL

Dmitry Lukovkin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
на обоих серверах 04 '01' ?
да. По вашему тону мне кажется это моя первая ошибка))
источник