Телеграмм чат группы clickhouse

2020 July 15

DT

Для этого не обязательно быть экспериментальной или быть еще в разработке, достаточно что бы тебя просто поленились добавить :)

источник

13:25пожаловаться #1

VB

Vladimir Bunchuk in ClickHouse не тормозит

Dmitry Titov

toUnixTimestamp64Micro
Внезапно оказывается, что в новых кх есть спец функции для такого

https://clickhouse.tech/docs/en/sql-reference/functions/type-conversion-functions/#tounixtimestamp64micro

clickhouse.tech

Type Conversion | ClickHouse Documentation

Type Conversion Functions Common Issues of Numeric Conversions When you convert a value from one to another data type, y

мощно )

источник

13:26пожаловаться #2

VB

Vladimir Bunchuk in ClickHouse не тормозит

я если честно, забыл про эту функцию

источник

13:26пожаловаться #3

VB

Vladimir Bunchuk in ClickHouse не тормозит

находил когда у нас был кх 20.4 и там она не работала

источник

13:26пожаловаться #4

VB

Vladimir Bunchuk in ClickHouse не тормозит

на 20.5 все ок

источник

13:26пожаловаться #5

VB

Vladimir Bunchuk in ClickHouse не тормозит

спасибо

источник

13:26пожаловаться #6

b

bl17zar in ClickHouse не тормозит

Dj

фича старая, вот вы проверите и задокументируете )

#дока #пожалейтепользователей

источник

13:36пожаловаться #7

D

Dj in ClickHouse не тормозит

bl17zar

#дока #пожалейтепользователей

#clickhouseuserlivesmatter

источник

13:37пожаловаться #8

D

Dj in ClickHouse не тормозит

bl17zar

#дока #пожалейтепользователей

А вообще это не самая важная фича которая не задокументирована...

источник

13:37пожаловаться #9

b

bl17zar in ClickHouse не тормозит

Dj

#clickhouseuserlivesmatter

согласен, но мне пока выбирать не из чего

источник

13:38пожаловаться #10

b

bl17zar in ClickHouse не тормозит

баги находились, но дока пока радовала

источник

13:39пожаловаться #11

V

Vokeven in ClickHouse не тормозит

Dj

SELECT *
    FROM db2.order_source_hash t
where hashKey NOT IN (select distinct hashKey from db1.order_hash )

сколько памяти кушает в трейсе?

если не влезает, вам надо бить hashKey на батчи/партиции и делать итеративно

Я попробовал запустить свой запрос, который падает, с трейсом. Вот в логах видно, как память утекает

источник

13:52пожаловаться #12

V

Vokeven in ClickHouse не тормозит

https://pastebin.com/9JwMCfZ8

Pastebin

dwh-ch2.mailru.prod :) set send_logs_level='trace'; SET send_logs_level = 'tr - Pastebin.com

источник

13:52пожаловаться #13

KS

Konstantin Sevastian... in ClickHouse не тормозит

Подскажите, почему при небольшом значении параметра max_bytes_before_external_group_by в 3Гб возникает DB::Exception: Cannot schedule a task? Если поднять max_bytes где нибудь до 10Гб то выполняется без проблем

источник

13:53пожаловаться #14

D

Dj in ClickHouse не тормозит

Konstantin Sevastianov

Подскажите, почему при небольшом значении параметра max_bytes_before_external_group_by в 3Гб возникает DB::Exception: Cannot schedule a task? Если поднять max_bytes где нибудь до 10Гб то выполняется без проблем

хм, у нас на тестбеде тоже 3 и не возникает... версия? на всех запросах, конкретно на одном?

источник

13:56пожаловаться #15

KS

Konstantin Sevastian... in ClickHouse не тормозит

Dj

хм, у нас на тестбеде тоже 3 и не возникает... версия? на всех запросах, конкретно на одном?

19.7.5.27
запрос один - меняю месяца в условии WHERE и ломается на месяце где больше всего данных, по квери логу как будто упирается в лимит по оперативке на запрос - memory_usage = 20Гб, а если меняю max_bytes_before_external_group_by = 10Гб, то потребление оперативки падает до 3,5Гб

источник

14:00пожаловаться #16

D

Dj in ClickHouse не тормозит

Vokeven

https://pastebin.com/9JwMCfZ8

Pastebin

dwh-ch2.mailru.prod :) set send_logs_level='trace'; SET send_logs_level = 'tr - Pastebin.com

можете куда нить в другое место? https://pastebin.pl/ или ещё куда (тут заблокирован pastebin.com ...)

источник

14:01пожаловаться #17

D

Dj in ClickHouse не тормозит

Konstantin Sevastianov

19.7.5.27
запрос один - меняю месяца в условии WHERE и ломается на месяце где больше всего данных, по квери логу как будто упирается в лимит по оперативке на запрос - memory_usage = 20Гб, а если меняю max_bytes_before_external_group_by = 10Гб, то потребление оперативки падает до 3,5Гб

а при max_bytes_before_external_group_by = 3Гб падает с DB::Exception: Cannot schedule a task? Наверн баг

источник

14:04пожаловаться #18

KS

Konstantin Sevastian... in ClickHouse не тормозит

ну штош... будем обновляться)

источник

14:05пожаловаться #19

D

Dj in ClickHouse не тормозит

Konstantin Sevastianov

19.7.5.27
запрос один - меняю месяца в условии WHERE и ломается на месяце где больше всего данных, по квери логу как будто упирается в лимит по оперативке на запрос - memory_usage = 20Гб, а если меняю max_bytes_before_external_group_by = 10Гб, то потребление оперативки падает до 3,5Гб

https://github.com/ClickHouse/ClickHouse/issues/6833
ну и там ещё 20 ишшю с этими словами на поиске

GitHub

DB::Exception: Cannot schedule a task · Issue #6833 · ClickHouse/ClickHouse

Describe the bug or unexpected behaviour While running a 3 node clickhouse cluster with replicated tables, we saw a large number of the included stack trace. It seems that we reached a resource/con...

источник

14:05пожаловаться #20