Size: a a a

ClickHouse не тормозит

2021 January 12

R

Roman in ClickHouse не тормозит
спасибо, помогло
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
В след. stable 20.11 и 20.12 уже будет пофикшено, к сожалению такой критичный баг бекпортили 3 недели, могло быть пофикшено 2 версии назад.
источник

Д

Дмитрий in ClickHouse не тормозит
Добрый вечер!

При запросе

SELECT
 col0,
 groupArray(col2) AS col2Arr,
 groupArray(col3) AS col3Arr,
 groupArray(col4) AS col4Arr
FROM
(
 SELECT
   col1, col2, col3, col4
 FROM tmp_tab  
 GROUP BY col0, col1
)
GROUP BY col0

гарантируется, что в массивах col2Arr, col3Arr, col4Arr под одинаковыми индексами будут элементы из одной строки подзапроса? Т.е. для одной строки из подзапроса col2 будет под таким же индексом в col2Arr, что и col3 в col3Arr?
Потому что описание из документации можно трактовать двояко: "Values can be added to the array in any (indeterminate) order."
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
Извините, а сэмплирование в КХ возможно по двум полям? Как это лучше сделать? В примерах везде одно поле
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrew (backEnd)
Извините, а сэмплирование в КХ возможно по двум полям? Как это лучше сделать? В примерах везде одно поле
просто в хешфункцию передать два, или 22 аргумента через запятую
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Дмитрий
Добрый вечер!

При запросе

SELECT
 col0,
 groupArray(col2) AS col2Arr,
 groupArray(col3) AS col3Arr,
 groupArray(col4) AS col4Arr
FROM
(
 SELECT
   col1, col2, col3, col4
 FROM tmp_tab  
 GROUP BY col0, col1
)
GROUP BY col0

гарантируется, что в массивах col2Arr, col3Arr, col4Arr под одинаковыми индексами будут элементы из одной строки подзапроса? Т.е. для одной строки из подзапроса col2 будет под таким же индексом в col2Arr, что и col3 в col3Arr?
Потому что описание из документации можно трактовать двояко: "Values can be added to the array in any (indeterminate) order."
гарантируется для не Nullable полей.

или можете делать groupArray( (col2,col3,col4) ) AS colsArr,
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Null -ы не попадают в агрегатные функции, поэтому в итоге может оказаться что там тупо разное кол-во элементов в массивах, тупл (col2,col3,col4) решает эту проблему
источник

Д

Дмитрий in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
гарантируется для не Nullable полей.

или можете делать groupArray( (col2,col3,col4) ) AS colsArr,
Понял, спасибо
источник

AK

Andron Ka in ClickHouse не тормозит
Добрый день. Создал таблицу Engine = URL

CREATE TABLE dwh.campaign_url_table (
   campaign_id String, account_ids Array(Int32), group Int32
) ENGINE=URL('https://staging-stable-dev-backend.str.inc/marketing', JSON);

но любое обращение к таблице приводить к

SELECT *
FROM dwh.campaign_url_table

Received exception from server (version 20.10.3):
Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: SSL Exception: error:14000438:SSL routines::tlsv1 alert internal error.

спасибо за помощь.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andron Ka
Добрый день. Создал таблицу Engine = URL

CREATE TABLE dwh.campaign_url_table (
   campaign_id String, account_ids Array(Int32), group Int32
) ENGINE=URL('https://staging-stable-dev-backend.str.inc/marketing', JSON);

но любое обращение к таблице приводить к

SELECT *
FROM dwh.campaign_url_table

Received exception from server (version 20.10.3):
Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: SSL Exception: error:14000438:SSL routines::tlsv1 alert internal error.

спасибо за помощь.
а какой сертификат https://staging-stable-dev-backend.str.inc ? самоподписанный?
источник

Д

Дмитрий in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
гарантируется для не Nullable полей.

или можете делать groupArray( (col2,col3,col4) ) AS colsArr,
Даже без ORDER BY в запросе/подзапросе?
Из доки "In some cases, you can still rely on the order of execution. This applies to cases when SELECT comes from a subquery that uses ORDER BY." Или это вообще про порядок строк в результирующей выборке?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Дмитрий
Даже без ORDER BY в запросе/подзапросе?
Из доки "In some cases, you can still rely on the order of execution. This applies to cases when SELECT comes from a subquery that uses ORDER BY." Или это вообще про порядок строк в результирующей выборке?
это порядок элементов в массиве.

в случае подзапросов с order by порядок сохраняется и в массиве элементы будут в порядке order by col1, col2

SELECT
 col0,
 groupArray(col2) AS col2Arr,
 groupArray(col3) AS col3Arr,
 groupArray(col4) AS col4Arr
FROM
(
 SELECT
   col1, col2, col3, col4
 FROM   GROUP BY col0, col1

    order by col1, col2
)
GROUP BY col0
источник

Д

Дмитрий in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
это порядок элементов в массиве.

в случае подзапросов с order by порядок сохраняется и в массиве элементы будут в порядке order by col1, col2

SELECT
 col0,
 groupArray(col2) AS col2Arr,
 groupArray(col3) AS col3Arr,
 groupArray(col4) AS col4Arr
FROM
(
 SELECT
   col1, col2, col3, col4
 FROM   GROUP BY col0, col1

    order by col1, col2
)
GROUP BY col0
спасибо!
источник

AK

Andron Ka in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а какой сертификат https://staging-stable-dev-backend.str.inc ? самоподписанный?
вроде бы Lets Encrypt, но не уверен точно

issuer=C = US, O = Let's Encrypt, CN = R3
источник

Д

Денис in ClickHouse не тормозит
Коллеги, добрый вечер! Подскажите пожалуйста, есть ли инструкция по обновлению КХ с версии 20.4.2.9 до текущего релиза на боевой базе?
источник

SP

Sergey Platonov in ClickHouse не тормозит
в CSV в поле с DateTime есть NULL-ы. Как сделать чтобы они не приводили к ошибке?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Денис
Коллеги, добрый вечер! Подскажите пожалуйста, есть ли инструкция по обновлению КХ с версии 20.4.2.9 до текущего релиза на боевой базе?
все новые КХ любой версии умеют читать файлы от старых. Апгрейд КХ всегда это замена тупая бинарников и перезапуск сервиса.
Проблема в том что новые версии всегда ломают поведение, некоторые запросы перестают выполняться, некоторые требуют установки параметров, некоторые возвращают другой результат. Я тестирую на стейдже 6 месяцев каждую версию на которую планирую перейти. И тестирую апгрейд и даунгрейд.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Platonov
в CSV в поле с DateTime есть NULL-ы. Как сделать чтобы они не приводили к ошибке?
что такое Null в вашем понимании?

у меня есть три варианта
a) ,Null,
b) ,\N,
c) ,,

DateTime или Nullable(DateTime) ?
источник

SP

Sergey Platonov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
что такое Null в вашем понимании?

у меня есть три варианта
a) ,Null,
b) ,\N,
c) ,,

DateTime или Nullable(DateTime) ?
|NULL| и DateTiem, можно сделать и Nullable(DateTime)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Platonov
|NULL| и DateTiem, можно сделать и Nullable(DateTime)
ну КХ ожидает \N или ,,
можно через input function перекодировать, я бы sed-м заменил
источник