Size: a a a

ClickHouse не тормозит

2020 May 21

DC

Denny Crane (I don't... in ClickHouse не тормозит
Al T
ну пишет что нужно 3 или 4 аргумента, у вас 5
там 3, tuple() -- это один аргумент
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
Distribution table можна создать только для симейства Replicated?
вообще для любого, даже для Log, и для Memory и Null
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
как ругается-то?
источник

AT

Al T in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
там 3, tuple() -- это один аргумент
да, чет скобочки не посчитал..
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
CREATE TABLE IF NOT EXISTS one_db.hits_dist ON CLUSTER ua_cluster AS one_db.hits
ENGINE = Distributed(ua_cluster, one_db, hits)

┌─host─┬─port─┬─status─┬─error────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐
│ ch1  │ 9000 │     60 │ Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)) │                   3 │                0 │
│ ch3  │ 9000 │     60 │ Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)) │                   2 │                0 │
│ ch4  │ 9000 │     60 │ Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)) │                   1 │                0 │
│ ch2  │ 9000 │      0 │                                                                                                                  │                   0 │                0 │
└──────┴──────┴────────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────┴──────────────────┘
→ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.)  0%Received exception from server (version 20.3.8):
Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: There was an error on [ch1:9000]: Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)).
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
CREATE TABLE IF NOT EXISTS one_db.hits_dist ON CLUSTER ua_cluster AS one_db.hits
ENGINE = Distributed(ua_cluster, one_db, hits)

┌─host─┬─port─┬─status─┬─error────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐
│ ch1  │ 9000 │     60 │ Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)) │                   3 │                0 │
│ ch3  │ 9000 │     60 │ Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)) │                   2 │                0 │
│ ch4  │ 9000 │     60 │ Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)) │                   1 │                0 │
│ ch2  │ 9000 │      0 │                                                                                                                  │                   0 │                0 │
└──────┴──────┴────────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────┴──────────────────┘
→ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.)  0%Received exception from server (version 20.3.8):
Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: There was an error on [ch1:9000]: Code: 60, e.displayText() = DB::Exception: Table one_db.hits doesn't exist. (version 20.3.8.53 (official build)).
ну нет там такой таблицы и что?
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Если создаю из ноды ch2 (там по сути лежит эта таблица) таже проблема.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
Если создаю из ноды ch2 (там по сути лежит эта таблица) таже проблема.
поля вам надо вручную вписать вместо AS
AS не видит полей с другого сервера
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
поля вам надо вручную вписать вместо AS
AS не видит полей с другого сервера
А что прописать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
А что прописать?
CREATE TABLE IF NOT EXISTS one_db.hits_dist ON CLUSTER ua_cluster (A Int64, B String, C , , ,, ,, ,, )
ENGINE = Distributed(ua_cluster, one_db, hits)
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Всю структуру?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
да всю,  as всего лишь хелпер который подставляет поля и типы, он работает иногда 🙂
источник

KF

Kirill (Pandy) Fedot... in ClickHouse не тормозит
Добрый день, по какой причине могут не объединяться куски данных?
Есть несколько таблиц ~ 50шт, в каждую пишутся данные не чаще чем раз в полсекунды(в среднем раз в 2-3 секунды)
Партиции разбиты по дням.
Если делать запрос

SELECT table, count(*) c
FROM system.parts WHERE  partition = '2020-05-21'
   AND remove_time = '0000-00-00 00:00:00'
GROUP BY table
order by c desc

То у каждой таблицы не более 10 кусков, а у одной 600(упёрлось в лимит).
И соответственно в проблемную таблицу уже не могут писаться данные.
Единственное, чем отличается данная таблица от других, то что на неё повешена материализованная вьюха.
И соответственно в проблемную таблицу уже не могут писаться данные
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kirill (Pandy) Fedotov
Добрый день, по какой причине могут не объединяться куски данных?
Есть несколько таблиц ~ 50шт, в каждую пишутся данные не чаще чем раз в полсекунды(в среднем раз в 2-3 секунды)
Партиции разбиты по дням.
Если делать запрос

SELECT table, count(*) c
FROM system.parts WHERE  partition = '2020-05-21'
   AND remove_time = '0000-00-00 00:00:00'
GROUP BY table
order by c desc

То у каждой таблицы не более 10 кусков, а у одной 600(упёрлось в лимит).
И соответственно в проблемную таблицу уже не могут писаться данные.
Единственное, чем отличается данная таблица от других, то что на неё повешена материализованная вьюха.
И соответственно в проблемную таблицу уже не могут писаться данные
репликация есть?
источник

KF

Kirill (Pandy) Fedot... in ClickHouse не тормозит
Да, Все таблицы ReplicatedMergeTree
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kirill (Pandy) Fedotov
Да, Все таблицы ReplicatedMergeTree
select * from system.replication_queue  в студию
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
желательно через какой-нибудь сайт, сюда ссылку
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Dmitry Titov
в логах не смотрели, может там что то интересное
из потенциально интересного - проскакивают такие мессаги
2020.05.21 11:21:50.411097 [ 527 ] {} <Information> DDLWorker: Task query-0000829209 should be deleted, but it is locked. Skipping it.
2020.05.21 11:21:50.486040 [ 527 ] {} <Information> DDLWorker: An error occured while checking and cleaning task query-0000829210 from queue: Code: 999, e.displayText() = Coordination::Exception: No node (version 20.1.10.70 (official build))
2020.05.21 11:21:50.567399 [ 527 ] {} <Information> DDLWorker: Task query-0000829211 is outdated, deleting it

но мне казалось КХ в случае конфликта блокировок вернул бы запросу моё любимое Possible deadlock avoided, а не стал бы в очередь...
источник

DT

Dmitry Titov in ClickHouse не тормозит
фиг знает, но у кликхауса есть свой пулл тредов которые распределяются по запросам, может ли быть такое что треды просто чем то заняты, а кликхаус не хочет создавать новые?
источник

KF

Kirill (Pandy) Fedot... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
желательно через какой-нибудь сайт, сюда ссылку
источник