Size: a a a

ClickHouse не тормозит

2021 January 25

AS

Alexey Sokolov in ClickHouse не тормозит
Slach
ищите в этом чате сообщения @den_crane кажется он про это говорил
Спасибо, нашёл.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Sokolov
Денис, а есть где почитать поподробнее?

Например, toDate() тоже сразу переключает парсер в режим ast?
в доке про input_format_values_interpret_expressions

--input_format_values_interpret_expressions arg                  For Values format: if the field could not be parsed by streaming parser, run SQL parser and try to interpret it as SQL expression.

если insert не работает при input_format_values_interpret_expressions=0 значит он не стримабл и используется AST SQL парсер

toDate -- это функция, она выключает стримабл парсер
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Yurii
Спасибо! Все ясно, у меня 20.8.9.6
просто поменяйте TTL чтобы было будущее, 2050 год
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Chern Oleksander
Всем привет, а можно как-то получить тотал сумму в группировке ?

В примере сумма тотал по каждому пользователю
group by ... with roll up
источник

Y

Yurii in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
просто поменяйте TTL чтобы было будущее, 2050 год
Спасибо! Так и сделал )
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexandr
Вопрос из зала, кто-то сталкивался с проблемой zookeeper когда он пытается реплицировать 60 гиг данных? Может кто-то может поделиться хорошим конфигом, где все эти memory allocation и garbage collectors хорошо сконфигурированы ?
zookeeper  база в памяти, он не может быть 60 ГБ
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в доке про input_format_values_interpret_expressions

--input_format_values_interpret_expressions arg                  For Values format: if the field could not be parsed by streaming parser, run SQL parser and try to interpret it as SQL expression.

если insert не работает при input_format_values_interpret_expressions=0 значит он не стримабл и используется AST SQL парсер

toDate -- это функция, она выключает стримабл парсер
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
я и говорю, что в доке и так и так сказано, что никто ничего не гарантирует, но с реплейсингом ни разу не было такиз проблем
все тоже самое с Replacing.
Все MergeTree движки одно и тоже. Мержи шедулер назначает им одинаково, потом уже во время мержа парты мержатся разным алгоритмом
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
гайз, в чем проблемка может быть ? есть табличка в движком summing
мне нужно сделать альтер с uint32 на int32
при запуске альтера  -  DB::Exception: Connection loss.
слишком много партов в таблице?

select count()
from system.parts
where table = '....' and active
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
zookeeper  база в памяти, он не может быть 60 ГБ
у меня такой есть
4.7G  snapshot.52f4bdd8dd

я думаю если в яндексе найдется кх раз так в цать больше... то наверное у них будут эти 60Гб
правда у меня нет инсайда не подали бы они в таком случае по зукиперу на шард... ну или как то ещё разбили бы на несколько
но вобщем то можно такой зк родить на практике
если постараться
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
слишком много партов в таблице?

select count()
from system.parts
where table = '....' and active
дахера, 50к)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Константин Трофимов
у меня такой есть
4.7G  snapshot.52f4bdd8dd

я думаю если в яндексе найдется кх раз так в цать больше... то наверное у них будут эти 60Гб
правда у меня нет инсайда не подали бы они в таком случае по зукиперу на шард... ну или как то ещё разбили бы на несколько
но вобщем то можно такой зк родить на практике
если постараться
4.7G это дохрена. Что-то неправильно, мертвые реплики?
я видел макс. размер 1GB до этого.

Я думаю в Яндексе меньше чем 1GB. ZK просто не предназначен для такого.
источник

r

rasstroen in ClickHouse не тормозит
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
дахера, 50к)
сочувствую, не жилец
источник

r

rasstroen in ClickHouse не тормозит
Нашел что-то похожее (у меня валится на одном (20.4.4) из неск серверов ошибки про макс мемори), при этом по топу память вообще не тратится на буферы
источник

r

rasstroen in ClickHouse не тормозит
то есть 8 потоков инсертов в буфера работают ок а больше - весь сервер валится с ошибками по памяти (как будто считается память неправильно)
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
сочувствую, не жилец
это проблема количства партов ?
из топика на гитхабе не совсем понял

мне стоит сначала починить парты и потом сделать миграцию ?
источник

ДП

Даниил Поздеев... in ClickHouse не тормозит
Ребят, подскажите, на ваш взгляд, какой BI тул наиболее оптимальный для небольших объемов данных?
Используем КХ и монго
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
это проблема количства партов ?
из топика на гитхабе не совсем понял

мне стоит сначала починить парты и потом сделать миграцию ?
да. Вам стоит разобраться все же как КХ работает
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
rasstroen
то есть 8 потоков инсертов в буфера работают ок а больше - весь сервер валится с ошибками по памяти (как будто считается память неправильно)
ну так она неправильно считается в 20.4.4
источник