T🐜
а вставка пакетная?
Size: a a a
2020 September 09
pk
ну не по одной же строке
A
The Ant 🐜
а вставка пакетная?
Конечно, пачкой по 6000 строк среднем. Раз в секунду.
T🐜
кто вставляет? я через пхп делаю 🙈
Но хтоп показывает 3% всего на пхп
Но хтоп показывает 3% всего на пхп
A
The Ant 🐜
кто вставляет? я через пхп делаю 🙈
Но хтоп показывает 3% всего на пхп
Но хтоп показывает 3% всего на пхп
Я вставляю по HTTP из Julia. Это ЯП такой.
T🐜
Понял, спасибо :)
A
У меня htop показывает загрузку этого одного недоядра на 25-40%. В основном памяти не хватает. Пришлось тюнить и неделю подбирать алгоритмы сжатия для каждой колонки. Сейчас одна запись ужимается до 7 байт. Если выкинуть миллисекунды, которые я пока никак не использую, то запись будет весить меньше 6 байт. В сыром виде около 40-50 байт.
T🐜
это что за сжатие такое? D:
A
The Ant 🐜
это что за сжатие такое? D:
┌─type───────────────────┬─compression_codec───────────┬─compressed_MB─┬─uncompressed_MB─┬───ratio─┐
│ LowCardinality(String) │ CODEC(ZSTD(1)) │ 2.122 │ 2406.811 │ 1134.18 │
│ LowCardinality(String) │ CODEC(ZSTD(1)) │ 2.436 │ 2546.46 │ 1045.27 │
│ UInt32 │ CODEC(DoubleDelta, ZSTD(1)) │ 11.179 │ 9608.438 │ 859.54 │
│ UInt8 │ CODEC(T64, ZSTD(1)) │ 254.427 │ 2402.11 │ 9.44 │
│ UInt32 │ CODEC(DoubleDelta, ZSTD(1)) │ 359.962 │ 9608.438 │ 26.69 │
│ UInt32 │ CODEC(DoubleDelta, ZSTD(1)) │ 359.965 │ 9608.438 │ 26.69 │
│ DateTime │ CODEC(DoubleDelta, ZSTD(1)) │ 1245.908 │ 9608.438 │ 7.71 │
│ Decimal(18, 8 ) │ CODEC(Delta(8), ZSTD(1)) │ 2926.828 │ 19216.876 │ 6.57 │
│ UInt16 │ CODEC(Gorilla) │ 2930.406 │ 4804.219 │ 1.64 │
│ Decimal(18, 8 ) │ CODEC(ZSTD(1)) │ 7980.346 │ 19216.876 │ 2.41 │
└────────────────────────┴─────────────────────────────┴───────────────┴─────────────────┴─────────┘
DC
Это запрос в Distributed таблицу над ReplicatedReplacingMergeTree таблицами
причем при обращении в ReplicatedReplacingMergeTree напрямую ошибок пока не ловится
причем при обращении в ReplicatedReplacingMergeTree напрямую ошибок пока не ловится
ну так
desc Distributed
desc ReplicatedReplacingMergeTree
и смотрим типы полей
desc Distributed
desc ReplicatedReplacingMergeTree
и смотрим типы полей
D
https://github.com/ClickHouse/ClickHouse/issues/14656
руки дошли... лайкаем, делимся, все дела =)
руки дошли... лайкаем, делимся, все дела =)
A
Подскажите, пожалуйста, в доке не нашел. Есть ли функция, что-то вроде
formatReadableSize(), но не для гигабайтов, а для миллиардов? Чтобы отображало что-то вроде 123.45 billions.DC
Подскажите, пожалуйста, в доке не нашел. Есть ли функция, что-то вроде
formatReadableSize(), но не для гигабайтов, а для миллиардов? Чтобы отображало что-то вроде 123.45 billions.нету
PL
ну так
desc Distributed
desc ReplicatedReplacingMergeTree
и смотрим типы полей
desc Distributed
desc ReplicatedReplacingMergeTree
и смотрим типы полей
Были мысли, что мог быть какой-то разъезд, который не замечался в старой версии, но и distributed и mergetree таблички на всех машинах имеют одинаковое описание полей.
Как в пасте https://pastebin.com/bcRyAmbX
Как в пасте https://pastebin.com/bcRyAmbX
DC
Были мысли, что мог быть какой-то разъезд, который не замечался в старой версии, но и distributed и mergetree таблички на всех машинах имеют одинаковое описание полей.
Как в пасте https://pastebin.com/bcRyAmbX
Как в пасте https://pastebin.com/bcRyAmbX
ну как бы я не понимаю куда результаты этого select уходят, особенно вот это место
"value" "AggregateFunction(quantileTDigest, UInt8)
argMax(value, version) AS value_2,
"value" "AggregateFunction(quantileTDigest, UInt8)
argMax(value, version) AS value_2,
DC
где финализация стейта?
PL
где финализация стейта?
это подзапрос вот такого запроса https://pastebin.com/Eu7VZa5m
я подумал, что допустимо его рассмотреть отдельно
я подумал, что допустимо его рассмотреть отдельно
DC
это подзапрос вот такого запроса https://pastebin.com/Eu7VZa5m
я подумал, что допустимо его рассмотреть отдельно
я подумал, что допустимо его рассмотреть отдельно
а ошибка в подзапросе уже? не понимаю при чем тут String
PL
ошибка одинаковая в полном запросе, и если отдельно самостоятельно запускать подзапрос
причем тут String - я сам не понимаю)
причем тут String - я сам не понимаю)
PL
возникает ошибка не сразу (при парсинге запроса), а в конце, видимо где-то на этапе group By:
↘ Progress: 26.46 million rows, 312.19 MB (10.11 million rows/s., 119.31 MB/s.) 98%Received exception from server (version 19.13.1):
Code: 49. DB::Exception: Received from xxx. DB::Exception: Inserting field of type String into ColumnAggregateFunction. Expected AggregateFunctionState.
↘ Progress: 26.46 million rows, 312.19 MB (10.11 million rows/s., 119.31 MB/s.) 98%Received exception from server (version 19.13.1):
Code: 49. DB::Exception: Received from xxx. DB::Exception: Inserting field of type String into ColumnAggregateFunction. Expected AggregateFunctionState.