T
спасибо за ответ
Issue=bug
Вот вы рассказали что по кругу один и тот мерж ну покажите пример с именами партов. Желательно куски кх лога где видно сообщения. Ddl таблицы
Size: a a a
2021 February 25
A
Ок, спасибо
AB
Всем привет! Может кто подсказать, в таблице используется движок `
ReplacingMergeTree`, но происходит удаление не только дубликатов, но и остальных записей, в чем может быть проблема?AZ
Всем привет! Может кто подсказать, в таблице используется движок `
ReplacingMergeTree`, но происходит удаление не только дубликатов, но и остальных записей, в чем может быть проблема?очень рандомно, но проверьте, не задан ли TTL - я как-то час баг искал, а оказалось просто вставлял записи со старым временем слишком 🙂
DC
Timur Sabirov
всем привет, где то читал что много таблиц в кх это антипаттерн, киньте плиз ссылку на доку или обсуждение где это обьясняется
Не все так страшно, пока таблиц разумное количество и это зависит от дисков и cpu.
Проблема в том что есть оверхед на поддержание жизни replicated таблиц поэтому кх рекомендует макс 10000 replicated. И др. проблема это много партов. В 99% случаев 100 таблиц вместо одной это в 100 раз больше партов. Каждый парт это каталог с файлами, это приыодит к разным проблемам типа медленный старт.
Проблема в том что есть оверхед на поддержание жизни replicated таблиц поэтому кх рекомендует макс 10000 replicated. И др. проблема это много партов. В 99% случаев 100 таблиц вместо одной это в 100 раз больше партов. Каждый парт это каталог с файлами, это приыодит к разным проблемам типа медленный старт.
TS
Не все так страшно, пока таблиц разумное количество и это зависит от дисков и cpu.
Проблема в том что есть оверхед на поддержание жизни replicated таблиц поэтому кх рекомендует макс 10000 replicated. И др. проблема это много партов. В 99% случаев 100 таблиц вместо одной это в 100 раз больше партов. Каждый парт это каталог с файлами, это приыодит к разным проблемам типа медленный старт.
Проблема в том что есть оверхед на поддержание жизни replicated таблиц поэтому кх рекомендует макс 10000 replicated. И др. проблема это много партов. В 99% случаев 100 таблиц вместо одной это в 100 раз больше партов. Каждый парт это каталог с файлами, это приыодит к разным проблемам типа медленный старт.
спасибо
DC
Всем привет! Может кто подсказать, в таблице используется движок `
ReplacingMergeTree`, но происходит удаление не только дубликатов, но и остальных записей, в чем может быть проблема?Удаление? Были видны записи в selecf а потом исчезли?
Удаляются дубликаты с одинаковыми значениями ключа orderby
Удаляются дубликаты с одинаковыми значениями ключа orderby
DC
чего только Яндекс в кликхауз не добавил...
Кстати, половину добавил совсем не яндекс.
в последних релизах 46% фич добавили не в яндексе
в последних релизах 46% фич добавили не в яндексе
EP
Всем привет. подскажите плз, default_replica_path начиная с какой версии поддерживается и в какое место конфига его нужно добавлять?
Д
всем доброго времени суток. Подскажите, пожалуйста, как можно установить квоту по RAM для запросов определённого пользователя в Clickhouse?
D
всем доброго времени суток. Подскажите, пожалуйста, как можно установить квоту по RAM для запросов определённого пользователя в Clickhouse?
max_memory_usage
max_memory_usage_for_user
max_memory_usage_for_user
Д
max_memory_usage
max_memory_usage_for_user
max_memory_usage_for_user
спасибо
S
Привет! Есть Кафка и кх который читает данные из топика. Иногда сообщения в топике не соответствуют формату таблицы в кх и соответственно не загружаются в клик. Хочется такие случаи выявлять.
Какие можете посоветовать инструменты для мониторинга, кроме очевидного грепанья логов или можно ли именно эти ошибки перенаправить в отдельный лог, что бы отделить от всего потока логов кх?
Какие можете посоветовать инструменты для мониторинга, кроме очевидного грепанья логов или можно ли именно эти ошибки перенаправить в отдельный лог, что бы отделить от всего потока логов кх?
https://github.com/housepower/clickhouse_sinker
может вам вот это больше подойдет?
может вам вот это больше подойдет?
VB
https://github.com/housepower/clickhouse_sinker
может вам вот это больше подойдет?
может вам вот это больше подойдет?
перешли с этой штуки на Kafka таблицы
более гибко работать с ними можно
более гибко работать с ними можно
S
перешли с этой штуки на Kafka таблицы
более гибко работать с ними можно
более гибко работать с ними можно
ну да =) там просто кейс про то что kafka engine пока умеет делать только skip для сообщений не подходящих по формату
а хотелось бы их в отдельный какой то kafka topic складывать наверное
а хотелось бы их в отдельный какой то kafka topic складывать наверное
VB
ну да =) там просто кейс про то что kafka engine пока умеет делать только skip для сообщений не подходящих по формату
а хотелось бы их в отдельный какой то kafka topic складывать наверное
а хотелось бы их в отдельный какой то kafka topic складывать наверное
А, понял. Это было бы полезно
MS
https://github.com/housepower/clickhouse_sinker
может вам вот это больше подойдет?
может вам вот это больше подойдет?
Спасибо! Синкер ранее уже трогал, но для других целей, присмотрюсь к нему для этого кейса 👌
PK
Всем привет! У меня такой пайплайн: Есть таблица MergeTree, в которую сыпятся данные по 5млн товаров несколько раз в день. Эта таблица не меняется, только дополняется. Для того, чтобы cэкономить место, данные по товарам (названия, категории, поставщики и пр.), я сохраняю в отдельную таблицу с движком Join. Это позволяет и экономить место и делать разные аггрегации. Однако, я хотел бы в таблице Join менять только изменяющиеся данные, а не перезаливать 5млн товаров несколько раз в день (например, обновить только 100тыс товаров). Мне продолжать сидеть на Join или лучше смотреть в другие движки, например ReplacingMergeTree (которые удаляет дубликаты, но не сразу)
S
Спасибо! Синкер ранее уже трогал, но для других целей, присмотрюсь к нему для этого кейса 👌
не факт что подойдет
DC
Всем привет! У меня такой пайплайн: Есть таблица MergeTree, в которую сыпятся данные по 5млн товаров несколько раз в день. Эта таблица не меняется, только дополняется. Для того, чтобы cэкономить место, данные по товарам (названия, категории, поставщики и пр.), я сохраняю в отдельную таблицу с движком Join. Это позволяет и экономить место и делать разные аггрегации. Однако, я хотел бы в таблице Join менять только изменяющиеся данные, а не перезаливать 5млн товаров несколько раз в день (например, обновить только 100тыс товаров). Мне продолжать сидеть на Join или лучше смотреть в другие движки, например ReplacingMergeTree (которые удаляет дубликаты, но не сразу)
попробуйте EmbeddedRocksDB + словарь сверху