Size: a a a

ClickHouse не тормозит

2020 September 16

D

Dj in ClickHouse не тормозит
а когда делаем
alter table test123 ATTACH PARTITION tuple() FROM test123temp


он значит ЗК для генерации имени парта не будет использовать? какая то логика неясная с этим чёрным ходом.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
коллеги вопрос, есть ли какая то проблема со вложенными select? многократно вложенными. очень многократно. я вылетаю с таймаутом на запись в сокет.
источник

A

Artem in ClickHouse не тормозит
Wolf Kreuzerkrieg
коллеги вопрос, есть ли какая то проблема со вложенными select? многократно вложенными. очень многократно. я вылетаю с таймаутом на запись в сокет.
Вы бы хоть пример привели самого вложенного из вложенных селектов.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
170 строк... сеичас попытаюсь обезличить и выложить
источник

K

Kid in ClickHouse не тормозит
Добрый день. В чем разница в 19 и 20 версиях между ANY LEFT JOIN?
И чем можно заменить, к примеру?
источник

A

Artem in ClickHouse не тормозит
Wolf Kreuzerkrieg
170 строк... сеичас попытаюсь обезличить и выложить
Ок, я имею ввиду самого глубокого, который первый начинает выбирать.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
а когда делаем
alter table test123 ATTACH PARTITION tuple() FROM test123temp


он значит ЗК для генерации имени парта не будет использовать? какая то логика неясная с этим чёрным ходом.
видимо там специально для ATTACH PARTITION FROM код сделан, в очередь репликации специально что-то сообщается

s1 Cloning part /var/lib/clickhouse/data/dw/test123temp/all_1_1_0/ to /var/lib/clickhouse/data/dw/test123/tmp_replace_from_all_3_3_0

s2 Found 1 parts that could be cloned (of 1 required parts)
s2 Cloning part /var/lib/clickhouse/data/dw/test123temp/all_1_1_0/ to /var/lib/clickhouse/data/dw/test123/tmp_replace_from_clone_all_3_3_0
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
Добрый день. В чем разница в 19 и 20 версиях между ANY LEFT JOIN?
И чем можно заменить, к примеру?
any left или any inner ?

changelog читаейте
есть параметр который возращает старое поведение
и теперь  semi join это старый any.
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
any left или any inner ?

changelog читаейте
есть параметр который возращает старое поведение
и теперь  semi join это старый any.
any left
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Artem
Ок, я имею ввиду самого глубокого, который первый начинает выбирать.
фуф... сделал... кошмар какой то, насчет самого глубокого я вот пока запускаю их по очереди, обрезая слой за слоем
вот общий селект
`SELECT
"a lot of colums"
FROM
(
SELECT
"more columns"
arrayMap(  
       "with some arraySlice stuff"
    ) as foo,
FROM (
SELECT  column,
   groupArray("with case when") as bar like 15 of such,
       FROM (
       select
   "more columns"
         from real_table
       where
       (column is not NULL x15 times) ORDER BY another_column) a
GROUP BY why_not_yet_another_column) a
)b
ARRAY JOIN
"a_bunch_of columns";`
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
any left
any left вроде должен работать как был, хотя хз

any_join_distinct_right_table_keys=1 меняет результат в 20?
источник

A

Artem in ClickHouse не тормозит
Wolf Kreuzerkrieg
фуф... сделал... кошмар какой то, насчет самого глубокого я вот пока запускаю их по очереди, обрезая слой за слоем
вот общий селект
`SELECT
"a lot of colums"
FROM
(
SELECT
"more columns"
arrayMap(  
       "with some arraySlice stuff"
    ) as foo,
FROM (
SELECT  column,
   groupArray("with case when") as bar like 15 of such,
       FROM (
       select
   "more columns"
         from real_table
       where
       (column is not NULL x15 times) ORDER BY another_column) a
GROUP BY why_not_yet_another_column) a
)b
ARRAY JOIN
"a_bunch_of columns";`
Самый глубокий — это group by или у вас скобка не закрыта?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Artem
Самый глубокий — это group by или у вас скобка не закрыта?
секунда, нашел с какой глубины он не работает, сеичас выложу
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
any left вроде должен работать как был, хотя хз

any_join_distinct_right_table_keys=1 меняет результат в 20?
нет, не меняет
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Artem
Самый глубокий — это group by или у вас скобка не закрыта?
вот этот все еще падает через почти 13 минут (странное время для таймаута, не правда ли)
`SELECT  buy_option_id,
   groupArray(foo) as foo,
   groupArray(foo) as foo,
   groupArray(foo) as foo,
   groupArray(foo) as foo,
   arrayPushBack(arrayPopFront(groupArray(foo)),toDateTime('9999-01-01 00:00:00')) as foo,
   groupArray(case when foo is null then '' else foo end) as foo,
   groupArray(case when foo is null then '' else foo end) as foo,
   groupArray(case when foo is null then '' else foo end) as foo,
   groupArray(case when foo is null then '' else foo end) as foo,
   groupArray(case when foo is null then '' else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo,
   groupArray(case when foo is null then -1 else foo end) as foo
       FROM (
       select
       bar,
     bar,
   bar,
   bar,
     bar,
     bar,
     bar,
     bar,
     bar,
     bar,
   bar,
     bar,
   bar,
     bar,
   bar,
     bar,
     bar,
     bar,
     bar
       from table
       where
       (baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL) ORDER BY foobar) a
GROUP BY snafu
limit 100`
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
а вот этот уже работает
`select
       bar,
     bar,
   bar,
   bar,
     bar,
     bar,
     bar,
     bar,
     bar,
     bar,
   bar,
     bar,
   bar,
     bar,
   bar,
     bar,
     bar,
     bar,
     bar
       from table
       where
       (baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL
         OR baz IS NOT NULL) ORDER BY foobar`
источник

AS

Alexey Sokolov in ClickHouse не тормозит
А у меня такой вопрос: с учётом того, что КХ сильно чувствителен к порядку объединяемых inner join-ом таблиц (для таблиц в 2кк и 20кк записей разница от перемены мест вышла в 5 раз по используемой памяти), а при использовании MV первой обязательно должна идти таблица, для которой будут отслеживаться insert-ы, как лучше поступать в ситуациях, когда для MV первой должна идти таблица t1, а для оптимизации объединения первой должна идти t2?

Пробовал менять t1 на подзапрос (select * from t1 where id in (select id from t2)) и аналогичным образом для t2 - это даёт эффект, но выглядит очень громоздким и странным.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
нет, не меняет
значит any left работает как в 19й, но лучше переписать на semi
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
значит any left работает как в 19й, но лучше переписать на semi
semi left join?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
semi left join?
да
источник