В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3935 membersпожаловаться на группу
2020 May 27

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну можно предположить что в партах хорошо жалось потому что лежали рядом одинаковые datetime, и после мержа стало больше места занимать, такое бывает, увеличивается в размере процентов на 5, но на 100% это слишком невероятно, это даже специально такое не сделать
да, у него есть данные даже ) "ловите наркомана"
источник
19:13пожаловаться#1

DC

Denny Crane (I don't... in ClickHouse не тормозит
codec(ZSTD) на это поле и еще раз optimize
источник
19:16пожаловаться#2

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
codec(ZSTD) на это поле и еще раз optimize
Я сейчас запустил optimize final на еще одном стенде, предварительно забекапив парты.
Ща отбежит и попробую кодек накатить.
Но я конечно полностью уверен что с кодеками никто не игрался, таблица еще с 19.* версии создана была.
источник
19:23пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Я сейчас запустил optimize final на еще одном стенде, предварительно забекапив парты.
Ща отбежит и попробую кодек накатить.
Но я конечно полностью уверен что с кодеками никто не игрался, таблица еще с 19.* версии создана была.
дефолтное сжатие задается в .xml
источник
19:24пожаловаться#4

D

Dj in ClickHouse не тормозит
Andrey
Я сейчас запустил optimize final на еще одном стенде, предварительно забекапив парты.
Ща отбежит и попробую кодек накатить.
Но я конечно полностью уверен что с кодеками никто не игрался, таблица еще с 19.* версии создана была.
так про zstd же, хотя бы сравнить...
https://t.me/clickhouse_ru/163066
Telegram
【D】【J】 in ClickHouse не тормозит
попробуйте все же zstd1 колонку добавить и материализовать, просто посмотреть, потом дропнете
источник
19:25пожаловаться#5

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
дефолтное сжатие задается в .xml
Вот так в конфиге. Т.е на протяжении всего времени было все по дефолту
источник
19:26пожаловаться#6

A

Andrey in ClickHouse не тормозит
Dj
так про zstd же, хотя бы сравнить...
https://t.me/clickhouse_ru/163066
Telegram
【D】【J】 in ClickHouse не тормозит
попробуйте все же zstd1 колонку добавить и материализовать, просто посмотреть, потом дропнете
да, ща мерж отбежит, буду пробовать
источник
19:26пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Вот так в конфиге. Т.е на протяжении всего времени было все по дефолту
а как было до апгрейда?
источник
19:27пожаловаться#8

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а как было до апгрейда?
Так же и было. Это прям дефолтный конфиг. Там только listen_host менялся за все время
источник
19:28пожаловаться#9

D

Dj in ClickHouse не тормозит
я так понял проблема была и до апгрейда, либо неизвестно была ли она до апгрейда...
источник
19:50пожаловаться#10

D

Dj in ClickHouse не тормозит
Andrey
Там самый прикол в том что после OPTIMIZE FINAL активные парты стали занимать сильно больше места.


До optimize final
202004 event_datetime 14949814777  13.90 GiB(сжатых) 55.69 GiB(разжатых)

После optmize final:
202004 event_datetime 14949814777  35.42 GiB(сжатых) 55.69 GiB(разжатых)
может при вставке был zstd, а сменили в сеттингах потом... так тоже бывает, 100% увеличения это надо очень долго спецом долбится с данными )
источник
19:51пожаловаться#11

E

Eugene in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а как было до апгрейда?
А когда комменты в этой секции пофиксятся?)

Если начать раскомментаривание секции, то выяснится, что дальше неправильные с точки зрения xml комментарии. В <!- - пробелы
источник
19:52пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Eugene
А когда комменты в этой секции пофиксятся?)

Если начать раскомментаривание секции, то выяснится, что дальше неправильные с точки зрения xml комментарии. В <!- - пробелы
а еще раз подумать? минуты две
источник
19:54пожаловаться#13

A

Andrey in ClickHouse не тормозит
Dj
я так понял проблема была и до апгрейда, либо неизвестно была ли она до апгрейда...
не известно была ли.
История то вообще какая. Я полез таблицу смотреть, потому что она вышла в топ, и это было не совсем ожидаемо. Ну смотрю, она изменяемая, решил что стоит сделать optimize, потому что могли налить много дубликатов. Прогнал OPTIMIZE FINAL, а она взяла и увеличилась.
источник
19:55пожаловаться#14

A

Andrey in ClickHouse не тормозит
Dj
может при вставке был zstd, а сменили в сеттингах потом... так тоже бывает, 100% увеличения это надо очень долго спецом долбится с данными )
Можно ли вставить через native с недефолтным сжатием?
Конфиги сервера в лпане сжатия никто не правил. Таблицу тоже не пересоздавали.
источник
19:56пожаловаться#15

E

Eugene in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а еще раз подумать? минуты две
Не понимаю)
Я когда в первый раз столкнулся, удивленно читал в логах сервера, что он не запустился изза некорректного xml.
Это специальная задумка, чтоб жизнь медом не казалась, или тут особый смысл?
источник
19:57пожаловаться#16

DC

Denny Crane (I don't... in ClickHouse не тормозит
Eugene
Не понимаю)
Я когда в первый раз столкнулся, удивленно читал в логах сервера, что он не запустился изза некорректного xml.
Это специальная задумка, чтоб жизнь медом не казалась, или тут особый смысл?
ну а как еще написать комментарий внутри комментария?
источник
19:57пожаловаться#17

E

Eugene in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну а как еще написать комментарий внутри комментария?
А, вот оно что.
Тогда выкинуть высокоуровневый коммент и оставить один case с методом сжатия по умолчанию текущим или none. А каждую из настроек нормально закомментарить )
источник
19:59пожаловаться#18

D

Dj in ClickHouse не тормозит
Andrey
не известно была ли.
История то вообще какая. Я полез таблицу смотреть, потому что она вышла в топ, и это было не совсем ожидаемо. Ну смотрю, она изменяемая, решил что стоит сделать optimize, потому что могли налить много дубликатов. Прогнал OPTIMIZE FINAL, а она взяла и увеличилась.
ладно, добавьте zstd - если уменьшится до начальных партов - значит просто сменили дефолт настройку
источник
20:02пожаловаться#19

D

Dj in ClickHouse не тормозит
Eugene
А, вот оно что.
Тогда выкинуть высокоуровневый коммент и оставить один case с методом сжатия по умолчанию текущим или none. А каждую из настроек нормально закомментарить )
а можно не трогать оригинальный файл, и положить нужную секцию в папочку config.d в кастомный файл...  =)
источник
20:06пожаловаться#20