Size: a a a

ClickHouse не тормозит

2020 June 23

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
про это вкурсе, но когда у тебя pattern меняется каждую секунду, а записей более 300кк то это не вариант 🙁
данные в temp таблицу будут заливаться дольше, чем перестроить юзеру запрос
а почему тут вообще используется КХ а не что-нибудь более подходящее? типа Sphinx ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Rail
Скажите, как должна работать репликация с Kafka engine и consumer MV, если вот мы используем ReplicatedMergeTree, то такая таблица реплицируется на серверах,
а как обстоит дело с Kafka engine и consumer MV? Они получается существуют только в одном из серверов, и никакой речи про реплики в их отношении не идет?
таблица в которую пишет MV нужна replicated
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а почему тут вообще используется КХ а не что-нибудь более подходящее? типа Sphinx ?
пытаемся отказаться от elasticsearch, дабы избавиться от избыточных синхронизаций
и проверяем возможности кх в данном случае как его заменитель т.к. кх уже используется для различных метрик/динамик
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Farygin
Добрый день! Может уже кто сталкивался - из питона грузим данные в clickhouse (немного, 190 тысяч строк в пакете)

2020.06.23 15:11:38.612603 [ 559938 ] {f42a45fb-b4ba-416b-bcce-0ae5d59c5d40} <Error> executeQuery: Code: 206, e.displayText() = DB::Exception: No alias for subquery or tabl
e function in JOIN (set joined_subquery_requires_alias=0 to disable restriction). (version 20.3.11.97) (from [::ffff:10.88.5.160]:50570) (in query: INSERT INTO Table_bu
ffer (uuid, pkghash) VALUES), Stack trace (when copying this message, always include the lines below):

<Empty trace>

Не пойму, каких ему алиасов в INSERT не хватает ?
на таблице у вас MV наверное с join
источник

AK

Alexey Kostarev in ClickHouse не тормозит
lnuynxa
arrayMap?
Спасибо помогло!
источник

Д

Данияр in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вовсе нет, я пользуюсь set distributed_product_mode = 'allow' на больших таблицах справа
при таком таком параметре он выдает ошибку

Code: 60, e.displayText() = DB::Exception: Received from . DB::Exception: Table default.dmp_mapping doesn't exist.. (version 20.1.5.26 (official build))
источник

Д

Данияр in ClickHouse не тормозит
ключ шардирования одинаковый
источник

R

Rail in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
таблица в которую пишет MV нужна replicated
Ну это само собой)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Данияр
при таком таком параметре он выдает ошибку

Code: 60, e.displayText() = DB::Exception: Received from . DB::Exception: Table default.dmp_mapping doesn't exist.. (version 20.1.5.26 (official build))
у меня такая же нога и не болит,

и что самое смешное, у меня тоже таблица dmp
источник

Д

Дмитрий in ClickHouse не тормозит
всем привет! Скажите, пожалуйста, верно ли я понимаю, что для решения проблем с нехваткой RAM при выполнении запроса, в котором участвует несколько таблиц соединённых через UNION ALL, то наилучшей практикой будет использование одной большой таблицы, которая будет хранить все данные из указанных нескольких?
источник

Д

Дмитрий in ClickHouse не тормозит
Был ли опыт похожий у кого-либо из вас, участники сообщества?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий
всем привет! Скажите, пожалуйста, верно ли я понимаю, что для решения проблем с нехваткой RAM при выполнении запроса, в котором участвует несколько таблиц соединённых через UNION ALL, то наилучшей практикой будет использование одной большой таблицы, которая будет хранить все данные из указанных нескольких?
все зависит от того как расставлены ( )
и можно использовать engine=Merge
источник

Д

Дмитрий in ClickHouse не тормозит
архитектурно выглядит так select * from t1 union all select * from t2 union all select * from t3 union all select * from t4 union all select * from t5 union all
источник

Д

Дмитрий in ClickHouse не тормозит
фактически t1, t2, t3, t4 и t5 - это таблицы с однотипными данными по событиям (условные действия пользователя в приложении)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий
фактически t1, t2, t3, t4 и t5 - это таблицы с однотипными данными по событиям (условные действия пользователя в приложении)
думаю проблема тогда в том что потоков слишком много и на каждый select

попробуйте engine=Merge, так проще
источник

AS

Aleh Sauko in ClickHouse не тормозит
Всем привет, а если kill query не помогает убить запрос, есть какой-нибудь более жесткий способ, кроме рестарта сервера?
источник

D4

Dmitriy 4etvegr in ClickHouse не тормозит
Вопрос - а с какой версии КХ монжо в users.xml добавлять access_management ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitriy 4etvegr
Вопрос - а с какой версии КХ монжо в users.xml добавлять access_management ?
в тестах с 20.3, полноценно с 20.4
источник

wq

wang qang in ClickHouse не тормозит
lambda x: x.(what?) in admins ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Aleh Sauko
Всем привет, а если kill query не помогает убить запрос, есть какой-нибудь более жесткий способ, кроме рестарта сервера?
или ждать или рестартовать, kill ставит флаг в сессии, когда сессия дойдет до проверки флага, он решит завершаться
источник