Size: a a a

ClickHouse не тормозит

2020 June 04

D

Dj in ClickHouse не тормозит
т.е. логика проекций будет все таки отделена от таблиц, и гуляй-страна, накидывай merge на другой merge
источник

DT

Dmitry Titov in ClickHouse не тормозит
а то с MV фиг его знает
источник

DT

Dmitry Titov in ClickHouse не тормозит
ну тогда опять надеятся на MV для перемещения данных между таблиц?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
А
Как сделать, не понятно. Через связный сервер? Или как?
ааа, я наоборот прочитал, думал в КХ нужно дернуть данные из MSSQL хранимой п.

Вы можете через odbc запрос в КХ сделать через linked server
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Курченков
Чем B отличается от MAX(val)?
добро пожаловать в недокументированный мир, вот еще пример для взрыва мозга

DESCRIBE TABLE
(
   SELECT if(toLowCardinality('a') = 'a', 1, 0)
)
--
LowCardinality(UInt8)


т.е. LowCardinality пролезает из условия в результат
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
а то с MV фиг его знает
А что с мв не так? Мы просто мало пользовались
источник

А

А in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ааа, я наоборот прочитал, думал в КХ нужно дернуть данные из MSSQL хранимой п.

Вы можете через odbc запрос в КХ сделать через linked server
Может есть пример, как настраивать linked server именно к кх?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
добро пожаловать в недокументированный мир, вот еще пример для взрыва мозга

DESCRIBE TABLE
(
   SELECT if(toLowCardinality('a') = 'a', 1, 0)
)
--
LowCardinality(UInt8)


т.е. LowCardinality пролезает из условия в результат
хм, а если написать CREATE TABLE AS     SELECT if(toLowCardinality('a') = 'a', 1, 0)
должен же будет ругнутся на бессмысленный lowCardinality
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Titov
хм, а если написать CREATE TABLE AS     SELECT if(toLowCardinality('a') = 'a', 1, 0)
должен же будет ругнутся на бессмысленный lowCardinality
ругнется наверное
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
но в MV например ругалка отключена
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
А что с мв не так? Мы просто мало пользовались
все так, отличный механизм
но скажем так не 100% гарантия что таблица с другим ORDER BY будет иметь аналогичные данные основной таблицы
источник

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
но в MV например ругалка отключена
забавно, не знал.
впрочем я всегда пользовался TO
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
А
Может есть пример, как настраивать linked server именно к кх?
ну КХ odbc драйвер поставите на винду, дальше все как с mysql или с другим любым odbc например
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
CREATE TABLE xxx Engine = Log as  SELECT if(toLowCardinality('a') = 'a', 1, 0) x

DB::Exception: Creating columns of type LowCardinality(UInt8) is prohibited by default due t...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
уже пилят Add insert_materialized_view_atomic to control pushing to MV behaviour
https://github.com/ClickHouse/ClickHouse/pull/10770
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
это только ничего не гарантирует, я может MV транкейчу по утрам
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
все так, отличный механизм
но скажем так не 100% гарантия что таблица с другим ORDER BY будет иметь аналогичные данные основной таблицы
Ну так то вы про транзакционность уже...
Можно делать доп функционал для частичного scrubbingа, рефреша конкретных партиций (связывание зависимых таблиц-маппинг партиций), атомисити на вставке (хотя по тому ишшю выше у меня больше вопросов чем ответов), итд итп..
опять таки имхо, проекции как таковые не совсем являются решением этого
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
Ну так то вы про транзакционность уже...
Можно делать доп функционал для частичного scrubbingа, рефреша конкретных партиций (связывание зависимых таблиц-маппинг партиций), атомисити на вставке (хотя по тому ишшю выше у меня больше вопросов чем ответов), итд итп..
опять таки имхо, проекции как таковые не совсем являются решением этого
это не совсем транзакционность имхо, просто консистентность разных ORDER BY
И одна таблица выглядит гораздо проще чем две таблицы и MV между них для каких то изменений
А еще нужно объяснять как этим пользоваться программистам
источник

S

Sergei in ClickHouse не тормозит
Добрый вечер,
Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 7.00 GiB (attempt to allocate chunk of 4502712 bytes), maximum: 7.00 GiB (version 20.3.10.75 (official build))
Начали сыпаться при записи небольших чанков. Пару недель все ок было.
Мониторинг в Я.Облаке для сервиса ничего подозрительного.
Не подскажете плз в чем проблема?
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Sergei
Добрый вечер,
Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 7.00 GiB (attempt to allocate chunk of 4502712 bytes), maximum: 7.00 GiB (version 20.3.10.75 (official build))
Начали сыпаться при записи небольших чанков. Пару недель все ок было.
Мониторинг в Я.Облаке для сервиса ничего подозрительного.
Не подскажете плз в чем проблема?
посмотри на количество соединений к базе
источник