Size: a a a

ClickHouse не тормозит

2020 August 06

l

lnuynxa in ClickHouse не тормозит
Для python есть неофф драйверы с поддержкой нативного протокола.
источник

РЯ

Роман Якубовский... in ClickHouse не тормозит
спасибо, погуглю
источник
2020 August 07

CB

Crypto Bane in ClickHouse не тормозит
Documentation for get_me
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Доброе утро, не могли бы подсказать по движку кафка: есть 10 серверов и топик с 72 партициями, сообщений порядка 300к,
Сообственно в логах :
2020.08.07 09:24:12.066836 [ 148446 ] {} <Trace> StorageKafka (log_in_parsed): Nothing to commit.
2020.08.07 09:24:12.066961 [ 148446 ] {} <Trace> StorageKafka (log_in_parsed): Nothing to commit.
2020.08.07 09:24:12.067025 [ 148446 ] {} <Trace> StorageKafka (log_in_parsed): Nothing to commit.
2020.08.07 09:24:12.067102 [ 148446 ] {} <Trace> StorageKafka (log_in_parsed): Nothing to commit.


2020.08.07 09:24:05.443652 [ 151217 ] {} <Trace> StorageKafka (log_in_parsed): Polled batch of 65536 messages. Offset position: [ log_in_parsed[54:6362691], log_in_parsed[55:6442633], log_in_parsed[56:6391740], log_in_parsed[57:6246779], log_in_parsed[58:6056912], log_in_parsed[59:6402441], log_in_parsed[60:5991525], log_in_parsed[61:6380870], log_in_parsed[62:6057811], log_in_parsed[63:5986540], log_in_parsed[64:5190593], log_in_parsed[65:6785423], log_in_parsed[66:3841620], log_in_parsed[67:3045223], log_in_parsed[68:3158228], log_in_parsed[69:2314162], log_in_parsed[70:3103955], log_in_parsed[71:3131679] ]
2020.08.07 09:24:10.975487 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:10.975668 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:10.975763 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:10.975864 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:10.990119 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:10.990385 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:11.024021 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Re-joining claimed consumer after failure
2020.08.07 09:24:11.034370 [ 148350 ] {} <Trace> StorageKafka (log_in_parsed): Execution took 10792 ms.
2020.08.07 09:24:11.534515 [ 148446 ] {} <Debug> StorageKafka (log_in_parsed): Started streaming to 14 attached views
2020.08.07 09:24:11.548569 [ 23816 ] {} <Trace> StorageKafka (log_in_parsed): Already subscribed to topics: [  ]
2020.08.07 09:24:11.548588 [ 151283 ] {} <Trace> StorageKafka (log_in_parsed): Already subscribed to topics: [  ]
2020.08.07 09:24:11.548599 [ 150452 ] {} <Trace> StorageKafka (log_in_parsed): Already subscribed to topics: [  ]


Еще постоянные reballance происходят

В табличке прописаны:
kafka_num_consumers = 7, kafka_max_block_size = 524288

Версия 20.3.8
14 вьюх
Подскажите куда копать?
источник

ГВ

Гурам Вашакидзе... in ClickHouse не тормозит
Всем привет. Кто может подсказать по словарю  mongodb. В коллекции есть два поля _id и name. В _id хранится int (NumberInt). Соответственно в настройках словаря указано:
<structure>
   <key>
       <attribute>
           <name>_id</name>
           <type>Int32</type>
       </attribute>
   </key>
   <attribute>
       <name>name</name>
       <type>String</type>
       <null_value></null_value>
   </attribute>
</structure>
Но при выполнении запроса:
SELECT dictGetString('my_dict', 'name', tuple(toInt32(1)))
Возвращается пустой рез-т, хотя по этому _Id есть данные.
В логах ошибок нет, как и в таблице dictionaries.
Версия КХ: 18.14.18
источник

I

Igor in ClickHouse не тормозит
Всем привет! А можете подсказать, какие действия КХ делает при запуске между чтением конфига и открытием портов? просто есть сообщения 19.14 о чтении конфигов, но до открытия портов не доходит и ошибок никаких нет.
источник

I

Igor in ClickHouse не тормозит
Вот все сообщения, но они некритичны вроде:
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: user_files_path (version 19.14.9.12 (official build)
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: format_schema_path (version 19.14.9.12 (official build)
Include not found: clickhouse_compression
источник

A

Anton in ClickHouse не тормозит
Возможно ли в кликхаусе проверить сколько запрос использовал оперативной памяти?
источник

AM

Alex ⭕️ More in ClickHouse не тормозит
Anton
Возможно ли в кликхаусе проверить сколько запрос использовал оперативной памяти?
да, например как-нибудь так
select event_time, formatReadableSize(memory_usage) mem_use_h, query
from system.query_log
where query like '%some_id%'
 and event_date = today()
источник

IZ

Irek Zayniev in ClickHouse не тормозит
Коллеги, подскажите как добавить время к RBAC т.е. выдавать права доступа к записям на определенное время?
источник

AV

Alex Vorobiev in ClickHouse не тормозит
Привет! Подскажите, пожалуйста, кто знает. В таблице есть поле-массив с 2 полями, arr.A и arr.B например. Нужно из выборки, где много строк взять количество уникальных A с условием по B. Если бы условия не было, то подошло бы uniqArray(arr.A), а как добавить фильтр типа B = 'smth' не могу разобраться. Вроде есть возможно соединения комбинаторов, т.е. uniqArrayIf, но в нём как раз написано, что "аргумент cond не должен быть массивом". При этом примеры uniqArrayIf вообще найти не получается.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex Vorobiev
Привет! Подскажите, пожалуйста, кто знает. В таблице есть поле-массив с 2 полями, arr.A и arr.B например. Нужно из выборки, где много строк взять количество уникальных A с условием по B. Если бы условия не было, то подошло бы uniqArray(arr.A), а как добавить фильтр типа B = 'smth' не могу разобраться. Вроде есть возможно соединения комбинаторов, т.е. uniqArrayIf, но в нём как раз написано, что "аргумент cond не должен быть массивом". При этом примеры uniqArrayIf вообще найти не получается.
If можно любое условие, например  has(B, 'smth')  ( это кстати что B = 'smth' массив B содержит  'smth')

[1,2,3,3,3] [44,55]

select uniqArrayIf(A, has(B,44)) from  (select [1,2,3,3,3] A ,[44,55] B )
--
3

select uniqArrayIf(A, has(B,44)) from  (select [1,2,3,3,3] A ,[66,55] B )
--
0
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Igor
Всем привет! А можете подсказать, какие действия КХ делает при запуске между чтением конфига и открытием портов? просто есть сообщения 19.14 о чтении конфигов, но до открытия портов не доходит и ошибок никаких нет.
там в паралелль много потоков пишут, ошибка выше
источник

I

Igor in ClickHouse не тормозит
Какая?
источник

AV

Alex Vorobiev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
If можно любое условие, например  has(B, 'smth')  ( это кстати что B = 'smth' массив B содержит  'smth')

[1,2,3,3,3] [44,55]

select uniqArrayIf(A, has(B,44)) from  (select [1,2,3,3,3] A ,[44,55] B )
--
3

select uniqArrayIf(A, has(B,44)) from  (select [1,2,3,3,3] A ,[66,55] B )
--
0
Так тут немного другое дело, A и B это не тупо разные массивы, это поля в одном массиве (возможно не правильно называю что-то). У них одинаковая длина и мы ставим условие на конкретный элемент, а не на весь массив
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Гурам Вашакидзе
Всем привет. Кто может подсказать по словарю  mongodb. В коллекции есть два поля _id и name. В _id хранится int (NumberInt). Соответственно в настройках словаря указано:
<structure>
   <key>
       <attribute>
           <name>_id</name>
           <type>Int32</type>
       </attribute>
   </key>
   <attribute>
       <name>name</name>
       <type>String</type>
       <null_value></null_value>
   </attribute>
</structure>
Но при выполнении запроса:
SELECT dictGetString('my_dict', 'name', tuple(toInt32(1)))
Возвращается пустой рез-т, хотя по этому _Id есть данные.
В логах ошибок нет, как и в таблице dictionaries.
Версия КХ: 18.14.18
словарь (содержимое) можно увидеть как таблицу через engine Dict, проверьте там вообще эти id нормальные или покореженные
источник

AV

Alex Vorobiev in ClickHouse не тормозит
третий элемент попадает под очистку дубликатов (по полю A) только, если выполняется условие на B именно в этом третьем элементе например
источник

ГВ

Гурам Вашакидзе... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
словарь (содержимое) можно увидеть как таблицу через engine Dict, проверьте там вообще эти id нормальные или покореженные
там пусто
источник

ГВ

Гурам Вашакидзе... in ClickHouse не тормозит
вот так выдает
источник

I

Igor in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
там в паралелль много потоков пишут, ошибка выше
Если поправить те ворнинги, то КХ не пишет вообще ничего даже в режиме дебаг, порты так же не открывает
источник