Size: a a a

ClickHouse не тормозит

2020 May 29

TS

Taras Shevchenko in ClickHouse не тормозит
Go migrate
источник

TS

Taras Shevchenko in ClickHouse не тормозит
источник

R

Rail in ClickHouse не тормозит
Abi Palagashvili
а имеется ли удобный инструмент для накатывания миграций?
на питоне есть такая штуку https://github.com/Infinidat/infi.clickhouse_orm
источник

R

Rail in ClickHouse не тормозит
Скажите, кто как логирует и собирает метрики при взаимодействии КХ с кафкой с engine=Kafka, и какие инструменты используете?
больше всего интересуют ошибки при попытке записать в КХ данных, полученных из топиков кафки
источник

N

Nikita in ClickHouse не тормозит
Привет! Наткнулся на странное поведение при сравнении fixedStrings с простыми строками начиная с версии v20.4.2.9
Если я сравниваю значение из fixedString-*колонки* c обычной строкой, то результат один, а если я fixedString вручную рожаю (определяю в select-stmt), то противоположный. Есть идеи, почему так?

CREATE TABLE default.test (
   `trackingEventId` FixedString(15)
) ENGINE = ReplacingMergeTree() ORDER BY (trackingEventId);

INSERT INTO default.test (trackingEventId) VALUES (unhex('202005295555'));

select toFixedString(unhex('202005295555'), 15) > unhex('20200529') AS resultTrue; -- 1

select
hex(trackingEventId) AS h,
trackingEventId > unhex('20200529') AS resultFalse -- 0
from default.test;
источник

IM

Ivan Medvedev in ClickHouse не тормозит
Привет! Если в поле UInt8 добавить значение 999, оно будет сохранено как 231. Не подскажете, есть ли возможность получать ошибку если инт выходит за диапазон поля?
источник

MK

Max Khlystov in ClickHouse не тормозит
скажите пожалуйста при создании табличек  ORDER BY (CounterID, EventDate)
создаст индекс для колонки CounterID и EventDate или комбо индекс EventDate + CounterID
источник

A

Andrey in ClickHouse не тормозит
Max Khlystov
скажите пожалуйста при создании табличек  ORDER BY (CounterID, EventDate)
создаст индекс для колонки CounterID и EventDate или комбо индекс EventDate + CounterID
"кккккомбо" =)
источник

MK

Max Khlystov in ClickHouse не тормозит
есть ли возможность разделить ?
источник

A

Andrey in ClickHouse не тормозит
Max Khlystov
есть ли возможность разделить ?
тут надо различать ключ сортировки (то как данные будут лежать внутри партиции) и индекс.
Если решать в лоб без оглядки на сортировку, то одно поле в order by, по второму индекс.
источник

A

Andrey in ClickHouse не тормозит
Max Khlystov
скажите пожалуйста при создании табличек  ORDER BY (CounterID, EventDate)
создаст индекс для колонки CounterID и EventDate или комбо индекс EventDate + CounterID
Вообще советую вот это почитать. Там достаточно просто описана схема работы.
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/mergetree/#primary-keys-and-indexes-in-queries
источник

S

Slach in ClickHouse не тормозит
Игорь Трофимов
Привет всем! Могли бы подсказать,
Есть ли функция обратная функции:arrayIntersect, нужно получить элементы которых нет во всех массивах?
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Это же не то
источник

S

Slach in ClickHouse не тормозит
Игорь Трофимов
Это же не то
ой =( блин, извините, неправильное использование парного глагола к Intersect ;(
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Slach
ой =( блин, извините, неправильное использование парного глагола к Intersect ;(
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Сделал так:
источник

V

Vadim in ClickHouse не тормозит
А как правильно готовить Kafka? обратил внимание, что если таблица с движком кафка ожидает один тип значений, к примеру UInt8, а в это поле прилетает String, то данные из кафка перестают обрабатываться, до момента пока не пересоздам таблицу(и дропну все из топика кафки). Или просто прописать везде тип String и потом уже разбираться с типами данных?
источник

R

Rail in ClickHouse не тормозит
Vadim
А как правильно готовить Kafka? обратил внимание, что если таблица с движком кафка ожидает один тип значений, к примеру UInt8, а в это поле прилетает String, то данные из кафка перестают обрабатываться, до момента пока не пересоздам таблицу(и дропну все из топика кафки). Или просто прописать везде тип String и потом уже разбираться с типами данных?
как правильно делать я не знаю, но выполняю след шаги, чтобы обновить тип значения колонки
1) дропаю MV который в качестве консьюмера
2) дропаю queue таблицу c engine Kafka
3) изменяю тип столбца в основной таблице
4) создаю queue таблицу с обновленными полями
5) создаю MV

заливаются эти изменения миграцией
главное для queue таблицы в настройках кафки прописать kafka_skip_broken_messages = 1, чтобы пропускались сообщения с которые не удалось записать в КХ

единственная сложность пока не известно как такие ситуации отлавливать, в логах КХ ничего нет
поэтому перед кафкой в API стоит валидация полей
источник

АБ

Александр Благов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
выключить КХ, почикать в sql файлах Replicated ( zk path) , включить КХ
добрый день, а с MV и файлами вида %2Einner%2ENAME.sql тоже самое же проворачивать?
источник

Р

Рич in ClickHouse не тормозит
привет! а подскажите таймзонам в clickhouse:

1. создаю таблицу с колонкой типа "Nullable(DateTime('UTC'))". Engine = MySQL и такую же с MergeTree. Делаю "insert into select * from". Данные в Mysql в UTC лежат
2. пытаюсь сконвертировать в таблице время Москву, ничего не меняется
3. select toDateTime(now(), 'Europe/London') тоже выдает текущее (московское) время
4. select toDateTime('2020-04-08 07:00:00', 'Europe/London') нормально меняет таймзону

сюда смотрел:
https://clickhouse.tech/docs/ru/sql-reference/data-types/datetime/
источник