Телеграмм чат группы clickhouse

2021 January 13

IG

Ilona Gladysheva in ClickHouse не тормозит

Да, вижу! Сорри, только сообразила посмотреть

источник

13:53пожаловаться #1

IG

Ilona Gladysheva in ClickHouse не тормозит

Dmitry Titov

WITH
    3 AS a,
    0 AS b
SELECT a / nullIf(b, 0)

Query id: 9bc4bb40-236f-413d-8313-4d5fcbfe9bb3

┌─divide(a, nullIf(b, 0))─┐
│                    ᴺᵁᴸᴸ │
└─────────────────────────┘

clickhouse 20.13

Видимо проблема связана с типом данных
https://github.com/ClickHouse/ClickHouse/issues/7509#issuecomment-731599933

GitHub

Division by zero · Issue #7509 · ClickHouse/ClickHouse

Division by zero Describe the bug or unexpected behaviour error despite the fact that the denominator is converted to null in case of zero value How to reproduce ` drop table if EXISTS test_table; ...

Спасибо!

источник

13:56пожаловаться #2

DT

Dmitry Titov in ClickHouse не тормозит

Но Decimal в 20.13 точно так же не работает

источник

13:57пожаловаться #3

IG

Ilona Gladysheva in ClickHouse не тормозит

Dmitry Titov

Но Decimal в 20.13 точно так же не работает

Угу, видимо придется конвертить.. или нашла еще intDivOrZero, попробую

источник

13:58пожаловаться #4

PV

Pavel Vorontsov in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

а что with?

with T as (select ... )
select join T

или там длинный json ? или вообще не json?

с with не разобрался до конца, пока что обошелся create temporary table / insert / select. Там json, но как написать with чтобы потом можно было использовать в запросе - неясно (мне пока что не ясно, если дадите пример, буду благодарен безмерно)

источник

14:08пожаловаться #5

DS

Denis Stadnik in ClickHouse не тормозит

а можно написать несколько условий в if?

источник

14:10пожаловаться #6

DS

Denis Stadnik in ClickHouse не тормозит

в документации что-то не нашел этого

источник

14:10пожаловаться #7

RK

Rebrikov Konstantin in ClickHouse не тормозит

Denis Stadnik

а можно написать несколько условий в if?

? https://clickhouse.tech/docs/ru/sql-reference/functions/conditional-functions/#multiif

clickhouse.tech

Условные функции | Документация ClickHouse

Условные функции if Условное выражение. В отличии от большинства систем, ClickHouse всегда считает оба выражения then и

источник

14:15пожаловаться #8

DS

Denis Stadnik in ClickHouse не тормозит

Rebrikov Konstantin

? https://clickhouse.tech/docs/ru/sql-reference/functions/conditional-functions/#multiif

clickhouse.tech

Условные функции | Документация ClickHouse

Условные функции if Условное выражение. В отличии от большинства систем, ClickHouse всегда считает оба выражения then и

multiif не катит

источник

14:16пожаловаться #9

DS

Denis Stadnik in ClickHouse не тормозит

Rebrikov Konstantin

? https://clickhouse.tech/docs/ru/sql-reference/functions/conditional-functions/#multiif

clickhouse.tech

Условные функции | Документация ClickHouse

Условные функции if Условное выражение. В отличии от большинства систем, ClickHouse всегда считает оба выражения then и

хочу конъюнкцию в условие

источник

14:17пожаловаться #10

IG

Ilona Gladysheva in ClickHouse не тормозит

Denis Stadnik

а можно написать несколько условий в if?

Вообще можно, через and или or

источник

14:17пожаловаться #11

OG

Oleg Gavrilov in ClickHouse не тормозит

всем привет, повторю вопрос, вдруг кто знает - как можно узнать все row, в которых началась последовательность, удовлетворяющая sequenceMatch? таблица на пару десятков миллионов, sequence из двух последовательных элементов, скорость исполнения не очень важна

источник

14:30пожаловаться #12

RN

Roman Neklesa in ClickHouse не тормозит

привет. подскажите, пожалуйста, на однонодовом брокере кафки получаем лог
Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.

параметр group.initial.rebalance.delay.ms дефолтный, kafka_topic_list, kafka_group_name с разынми именами, версия КХ - 20.11.4.13. в чем может быть причина его появления и как выйти с такой ситуации?

источник

15:33пожаловаться #13

AK

Andron Ka in ClickHouse не тормозит

Добрый день. Создал таблицу Engine = URL

CREATE TABLE dwh.campaign_url_table (
campaign_id String, account_ids Array(Int32), group Int32
) ENGINE=URL('https://staging-stable-dev-backend.str.inc/marketing', JSON);

но любое обращение к таблице приводить к
Received exception from server (version 20.10.3):
Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: SSL Exception: error:14000438:SSL routines::tlsv1 alert internal error.

Сертификат Let's Encrypt
спасибо за помощь.

источник

15:42пожаловаться #14

M

Munir in ClickHouse не тормозит

Oleg Gavrilov

всем привет, повторю вопрос, вдруг кто знает - как можно узнать все row, в которых началась последовательность, удовлетворяющая sequenceMatch? таблица на пару десятков миллионов, sequence из двух последовательных элементов, скорость исполнения не очень важна

пример, какой-нить приведи. какая конкретно последовательность, например.

источник

15:42пожаловаться #15

DT

Dmitry Titov in ClickHouse не тормозит

Andron Ka

Добрый день. Создал таблицу Engine = URL

CREATE TABLE dwh.campaign_url_table (
campaign_id String, account_ids Array(Int32), group Int32
) ENGINE=URL('https://staging-stable-dev-backend.str.inc/marketing', JSON);

но любое обращение к таблице приводить к
Received exception from server (version 20.10.3):
Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: SSL Exception: error:14000438:SSL routines::tlsv1 alert internal error.

Сертификат Let's Encrypt
спасибо за помощь.

Какая ОС у кх?
https://github.com/ClickHouse/ClickHouse/issues/17803

GitHub

Openssl: probe different standard paths for ca. · Issue #17803 · ClickHouse/ClickHouse

Users from os other than ubuntu often complain that secure connections can not be established because of wrong path to ca is used in the openssl bundled in ClickHouse. The solution is to probe comm...

источник

15:43пожаловаться #16

AK

Andron Ka in ClickHouse не тормозит

Dmitry Titov

Какая ОС у кх?
https://github.com/ClickHouse/ClickHouse/issues/17803

GitHub

Openssl: probe different standard paths for ca. · Issue #17803 · ClickHouse/ClickHouse

Users from os other than ubuntu often complain that secure connections can not be established because of wrong path to ca is used in the openssl bundled in ClickHouse. The solution is to probe comm...

Спасибо
Mint , CentOS_7 + docker — в обоих случаях результат одинаковый

источник

15:45пожаловаться #17

DT

Dmitry Titov in ClickHouse не тормозит

Andron Ka

Спасибо
Mint , CentOS_7 + docker — в обоих случаях результат одинаковый

https://github.com/ClickHouse/ClickHouse/issues/18869#issuecomment-757111029

Пробуйте направить это на хранилище сертов для вашей ос

GitHub

OpenSSL certificate issue when using S3 https endpoint in AWS China Region · Issue #18869 · ClickHouse/ClickHouse

Describe the bug When using S3 https endpoint in AWS China Region (Beijing and Ningxia), there is a openssl certificate issue reported. How to reproduce Which ClickHouse server version to use: 20.1...

источник

15:46пожаловаться #18

OG

Oleg Gavrilov in ClickHouse не тормозит

Munir

пример, какой-нить приведи. какая конкретно последовательность, например.

https://gist.github.com/OlegGavrilov/4c03d8ce1346b4a22b51727ca3cb0fc4 вот, как мог

Gist

Example of sequenceMatch aggregate function usage in ClickHouse.

Example of sequenceMatch aggregate function usage in ClickHouse. - example.txt

источник

15:46пожаловаться #19

SC

Sarcastic Cat in ClickHouse не тормозит

Sarcastic Cat

Господа, есть вопрос (возможно даже два):
Основная задача: посчитать количество событий в определенном промежутке с группировкой по дням/часам/etc. и с заполнением нулями промежутков, в которые событий нет.
Я делаю вот так для периодов в день (и это первый вопрос, возможно это неправильно?):

SELECT 
    count(*) AS cnt,
    toStartOfInterval(time, toIntervalDay(1)) AS period
FROM metrics
WHERE (toDate(time) >= '2021-01-11') AND (toDate(time) <= '2021-01-12')
GROUP BY period
ORDER BY period ASC
UNION ALL
SELECT 
    0 AS cnt,
    arrayJoin(timeSlots(toDateTime(toDate('2021-01-11'), 'UTC'), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400))) AS period
GROUP BY period
ORDER BY period ASC

проблема в том, что в ответ я получаю

┌────cnt─┬──────────────period─┐
│ 391722 │ 2021-01-11 00:00:00 │
│ 468620 │ 2021-01-12 00:00:00 │
└────────┴─────────────────────┘
┌─cnt─┬──────────────period─┐
│   0 │ 2021-01-11 03:00:00 │
│   0 │ 2021-01-12 03:00:00 │
└─────┴─────────────────────┘

т.е. нулевые почему-то в московской таймзоне
в то же время, если сделать этот подзапрос отдельно то все хорошо:

SELECT timeSlots(toDateTime(toDate('2021-01-11'), 'UTC'), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400)) AS slots

┌─slots─────────────────────────────────────────┐
│ ['2021-01-11 00:00:00','2021-01-12 00:00:00'] │
└───────────────────────────────────────────────┘

wtf?

Повторю и свой вопрос. FILL хоть и может заполнять "в будущее" но, по очевидным причинам, ничего не заполняет, если результатов нет вообще. А timeSlots двигает время, какую бы таймзону я в DateTime старта timeSlots не указал.

источник

15:48пожаловаться #20