В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4224 membersпожаловаться на группу
2020 August 26

S

Slach in ClickHouse не тормозит
Dmitriy Antonenko
Переслано от Dmitriy Antonenko
Здравствуйте, столкнулись с такой проблемой, что при инсерте данных в реплику некоторые записи не схлопываюся , но при запросе в шард, все хорошо

пример создания и тд.
https://gist.github.com/BrokenEngineerDev/08247416569dd6724da2bcab8de0af3b
Gist
CH ReplicatedReplacingMergeTree
CH ReplicatedReplacingMergeTree. GitHub Gist: instantly share code, notes, and snippets.
замена происходит не мгновенно, а во время background merge
и гарантии что замена произойдет нет

SELECT FINAL от этого помогает
источник
13:59пожаловаться#1

DA

Dmitriy Antonenko in ClickHouse не тормозит
В примере используется FINAL
источник
14:00пожаловаться#2

КТ

Константин Трофимов... in ClickHouse не тормозит
ну всё правильно, при инсерте в реплику некоторые не схлопываются потому что это делается фоном, при запросе в шард с FINAL всё норм
источник
14:02пожаловаться#3

S

Slach in ClickHouse не тормозит
Dmitriy Antonenko
В примере используется FINAL
replace проиходит на реплике
если вы новую версию через rand() через distributed
вставили на разные реплики, оно не схлопнется
источник
14:02пожаловаться#4

S

Slach in ClickHouse не тормозит
Dmitriy Antonenko
В примере используется FINAL
у вас судя по всему разные версии  в разных шардах лежат
потому что Distributed шардируется по rand()
источник
14:03пожаловаться#5

КТ

Константин Трофимов... in ClickHouse не тормозит
можно сказать OPTIMIZE FINAL чтоб схлопнуть досрочно
источник
14:03пожаловаться#6

S

Slach in ClickHouse не тормозит
и вставляете вы в distributed
источник
14:03пожаловаться#7

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, привет!
А подскажите плз, можно ли создать distributed таблицу, не описывая её колонок?
источник
14:03пожаловаться#8

S

Slach in ClickHouse не тормозит
Константин Трофимов
можно сказать OPTIMIZE FINAL чтоб схлопнуть досрочно
можно, но не нужно
источник
14:03пожаловаться#9

КТ

Константин Трофимов... in ClickHouse не тормозит
ну зависит от контекста
если например партиционируешься по месяцам, почему бы раз в месяц не схлопывать
источник
14:04пожаловаться#10

КТ

Константин Трофимов... in ClickHouse не тормозит
не дожидаясь пока это фоном произойдет
источник
14:04пожаловаться#11

S

Slach in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, привет!
А подскажите плз, можно ли создать distributed таблицу, не описывая её колонок?
попробуйте 
CREATE TABLE db.table_distributed AS db.other_table ENGINE DIstributed(...);

https://clickhouse.tech/docs/en/sql-reference/statements/create/table/#with-a-schema-similar-to-other-table
clickhouse.tech
TABLE | ClickHouse Documentation
CREATE TABLE Creates a new table. This query can have various syntax forms depending on a use case. By default, tables a
источник
14:05пожаловаться#12

Д

Дмитрий in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, привет!
А подскажите плз, можно ли создать distributed таблицу, не описывая её колонок?
CREATE TABLE IF NOT EXISTS test AS test_sharded ENGINE = Distributed ...
источник
14:05пожаловаться#13

VS

Vladyslav Sakun in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, привет!
А подскажите плз, можно ли создать distributed таблицу, не описывая её колонок?
Да, конечно
источник
14:05пожаловаться#14

VB

Vladimir Bunchuk in ClickHouse не тормозит
супер!
спасибо большое
источник
14:07пожаловаться#15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitriy Antonenko
Переслано от Dmitriy Antonenko
Здравствуйте, столкнулись с такой проблемой, что при инсерте данных в реплику некоторые записи не схлопываюся , но при запросе в шард, все хорошо

пример создания и тд.
https://gist.github.com/BrokenEngineerDev/08247416569dd6724da2bcab8de0af3b
Gist
CH ReplicatedReplacingMergeTree
CH ReplicatedReplacingMergeTree. GitHub Gist: instantly share code, notes, and snippets.
Distributed таблица не делает final, она не в курсе что надо финализировать дубликаты с шардов

Т.е. придется делать argmax/groupby
источник
14:07пожаловаться#16

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Есин
вопрос по этой же теме: а срабатывает ли триггер мат. вью на событие реплицирования? Т.е. если у меня есть Replicated таблица, я делаю инсерт на одном узле, данные реплицируются на другой узел, в этот момент на другом узле выполнится действие определенное в мат. вью?
нет, на реплицирование не срабатывает. Только на инсерт.
Реплицируются парты, там нет инсерта.
Но это и не нужно.
источник
14:10пожаловаться#17

DA

Dmitriy Antonenko in ClickHouse не тормозит
Спасибо)))
источник
14:16пожаловаться#18

КТ

Константин Трофимов... in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, привет!
А подскажите плз, можно ли создать distributed таблицу, не описывая её колонок?
смотря что понимать под "не описывая колонок". Не описывая совсем нельзя, использовать "AS another_table" можно и подставятся колонки из неё. Если надо прям не зная колонок вслепую, то можно сказать select ... from remote(кластер, "база", "таблица")
источник
14:16пожаловаться#19

VB

Vladimir Bunchuk in ClickHouse не тормозит
Константин Трофимов
смотря что понимать под "не описывая колонок". Не описывая совсем нельзя, использовать "AS another_table" можно и подставятся колонки из неё. Если надо прям не зная колонок вслепую, то можно сказать select ... from remote(кластер, "база", "таблица")
“AS another_table” - как раз то что нужно
источник
14:17пожаловаться#20