D
Galym Zharyssov
Привет всем. Хотел спросить с чем может быть связана разница ответов select count() в mysql и кх с одними и теми же данными?
да с чем угодно =) запросы по разному отрабатываются... таблицы схлопываются... баги в count()
Size: a a a
2020 August 25
GZ
батчами по 1000000 перекинул из основной базы таблицы в кх, и сделал просто select count() where time btw date and date
GZ
и mysql с кх вернули мне разные цифры
И
Galym Zharyssov
батчами по 1000000 перекинул из основной базы таблицы в кх, и сделал просто select count() where time btw date and date
Часовой пояс? Что за движок таблицы? Какая разница? А если сгруппировать по дополнительной колонке?
n
коллеги, если возможнось как-то сжать старые партиции или указать clickhouse что новые партиции хранить в другом месте ?
P.S не lvm на сервер
места не хватает на перезаливку
P.S не lvm на сервер
места не хватает на перезаливку
DT
коллеги, если возможнось как-то сжать старые партиции или указать clickhouse что новые партиции хранить в другом месте ?
P.S не lvm на сервер
места не хватает на перезаливку
P.S не lvm на сервер
места не хватает на перезаливку
в новых clickhouse (~> 19.17) есть storage_policy
n
в новых clickhouse (~> 19.17) есть storage_policy
а есть опыт использования его ? типа как тут https://altinity.com/blog/2019/11/29/amplifying-clickhouse-capacity-with-multi-volume-storage-part-2 ?
DT
а есть опыт использования его ? типа как тут https://altinity.com/blog/2019/11/29/amplifying-clickhouse-capacity-with-multi-volume-storage-part-2 ?
Есть, нормально работает
n
Есть, нормально работает
а если врубить компрессию, какие сайд эффекты есть https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server-settings-compression ?
WK
коллеги, такое вот странное поведение клика с точки зрения конфигурации, не имеет значение какое значение
max_memory_usage я выставляю, клик падает (если я его доведу) при 80% от памяти на машине. такое ощущение что где то вбит magic number. Перерыл код, настроики по умолчанию и т.д., ничего подозрительного не нашел. Кто нибудь сталкивался с таким?WK
например, выставил
упал с
set max_memory_usage=124000000000;упал с
Received from 172.16.1.21:9000. DB::Exception: Memory limit (total) exceeded: would use 108.11 GiB (attempt to allocate chunk of 268435456 bytes), maximum: 107.90 GiB.DC
Wolf Kreuzerkrieg
коллеги, такое вот странное поведение клика с точки зрения конфигурации, не имеет значение какое значение
max_memory_usage я выставляю, клик падает (если я его доведу) при 80% от памяти на машине. такое ощущение что где то вбит magic number. Перерыл код, настроики по умолчанию и т.д., ничего подозрительного не нашел. Кто нибудь сталкивался с таким?Limit total!!!
Это другой параметр: max server usage читайте в config.xml
Это другой параметр: max server usage читайте в config.xml
DC
Ошибки 3 разные total / for session / for user
WK
так там же все параметры по умолчанию в 0 выставлены
WK
нет?
DC
а если врубить компрессию, какие сайд эффекты есть https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server-settings-compression ?
Ну место на диске закончится быстрее. И будет тормозить потому что надо больший объем читать с диска.
DC
Wolf Kreuzerkrieg
нет?
теперь там= 0.9*размер озу сервера
n
Ну место на диске закончится быстрее. И будет тормозить потому что надо больший объем читать с диска.
почему быстрее место закончиться ?
DC
почему быстрее место закончиться ?
аа, упс. я отвечал на вопрос что будет если выключить компрессию. Она включена по дефолту
n
аа, упс. я отвечал на вопрос что будет если выключить компрессию. Она включена по дефолту
а как проверить что она включена и какая там zstd или lz4 ?