Size: a a a

ClickHouse не тормозит

2020 May 18

S

Slach in ClickHouse не тормозит
да, какая  то странная фигня...
версия clickhouse какая?
а что выдает
SELECT sum(int) FROM test GROUP BY id ?

https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue+SummingMergeTree+FINAL+
что-то не нахожу тут никаких похожих багов
можете создать?
источник

A

Alex in ClickHouse не тормозит
Привет. Кто то писал о буферной таблице в mysql перед тем как заливать в clickhouse. Т.е. по сути мне писать в mysql, а потом как накопиться например миллион записей, отправлять их в кликхаус?
источник

A

Alex in ClickHouse не тормозит
подскажите пожалуйста)
источник

S

Slach in ClickHouse не тормозит
Alex
Привет. Кто то писал о буферной таблице в mysql перед тем как заливать в clickhouse. Т.е. по сути мне писать в mysql, а потом как накопиться например миллион записей, отправлять их в кликхаус?
ну можно  в MySQL
можно через kittenhouse буфферизировать
можно не обязательно именно "миллион"
можно настраивать таймаут либо миллион либо 1 раз в минуту... что быстрее наберется
через крон скрипт напрмер

еще можно писать через MySQL протокол
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-mysql_port

напрямую в ClickHouse в таблицу с Engine=Buffer - самый наверное безгеморойный вариант для вас будет, только можете упереться что больше 100 паралельных записей... и https://clickhouse.tech/docs/en/operations/server_settings/settings/#max-concurrent-queries надо будет подкрутить
источник

A

Alex in ClickHouse не тормозит
Slach
ну можно  в MySQL
можно через kittenhouse буфферизировать
можно не обязательно именно "миллион"
можно настраивать таймаут либо миллион либо 1 раз в минуту... что быстрее наберется
через крон скрипт напрмер

еще можно писать через MySQL протокол
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-mysql_port

напрямую в ClickHouse в таблицу с Engine=Buffer - самый наверное безгеморойный вариант для вас будет, только можете упереться что больше 100 паралельных записей... и https://clickhouse.tech/docs/en/operations/server_settings/settings/#max-concurrent-queries надо будет подкрутить
спасибо большое.
источник

DA

Dima Admin in ClickHouse не тормозит
Alex
Привет. Кто то писал о буферной таблице в mysql перед тем как заливать в clickhouse. Т.е. по сути мне писать в mysql, а потом как накопиться например миллион записей, отправлять их в кликхаус?
мы просто в redis очередь пишем данные. Потом крон: если длина очереди более 100к - делаем insert в clickhouse
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
У нас просто по крону выполняется инсерт из буферной таблицы по часовым партициям
источник

A

Alex in ClickHouse не тормозит
всем спасибо
источник

T

Tony in ClickHouse не тормозит
Slach
да, какая  то странная фигня...
версия clickhouse какая?
а что выдает
SELECT sum(int) FROM test GROUP BY id ?

https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue+SummingMergeTree+FINAL+
что-то не нахожу тут никаких похожих багов
можете создать?
источник

T

Tony in ClickHouse не тормозит
версия последняя. 20.4 c чем-то
источник

T

Tony in ClickHouse не тормозит
неделю назад обновлял
источник

T

Tony in ClickHouse не тормозит
а как создать багу? на гите в issues?
источник

l

lnuynxa in ClickHouse не тормозит
какой тип у int?
источник

l

lnuynxa in ClickHouse не тормозит
Int8
источник

T

Tony in ClickHouse не тормозит
Tony
CREATE TABLE test.test
(
   `id` Int8,
   `int` Int8,
   `float` Decimal(15, 5),
   `string` String
)
ENGINE = SummingMergeTree((int, float))
ORDER BY id
SETTINGS index_granularity = 8192
такой
источник

l

lnuynxa in ClickHouse не тормозит
так у тебя просто переполнение же
источник

T

Tony in ClickHouse не тормозит
соглашусь
источник

l

lnuynxa in ClickHouse не тормозит
Int8 - [-128 : 127]
источник

T

Tony in ClickHouse не тормозит
тогда вряд ли бага
источник

l

lnuynxa in ClickHouse не тормозит
не бага
источник