AK
И там все описано так, будто он есть
Size: a a a
2021 March 04
DC
Да свое понятно что можно,вопрос был в доступе к готовым словарям
тут еще с докой проблема что в Яоблаке они как раз наверное доступны
AM
а записи митапов потом остаются?
Да, всё будет на нашем канале на YouTube: https://www.youtube.com/channel/UChtmrD-dsdpspr42P_PyRAw
DC
Я посмотрел это выступление (кстати хорошее, есть важные моменты, не упомянутые в доках) и всё-таки не понимаю механизма, при котором хорошо прожеванные данные будут занимать больше места. Я бы наоборот ожидал что для каких-то кодеков отсортированные данные будут сжиматься лучше.
я говорю про мержи.
Вы кладете в hdfs 100 паркет файликов по 100 МБ, они там лежат один раз записанные и есть не просят.
Вы кладете в КХ 100 паркет инсертов по 100MБ получаем сто партов _0, КХ мержит - берет первые 5, читает, распаковывает, соединяет, запаковывает, записывает парт_level_1 500МБ, берет следующие 5, потом берет и начинает мержить _1 из 500МБ в большие парт_level_2 по 1.5ГБ, и так до утра, весь диск с i/o 100% и CPU на 400%
У меня есть дата-лейки и на HDFS и на КХ, которые записываются один раз и читаются тоже в основном фулсканом 1 раз, я понимаю где смешно
Вы кладете в hdfs 100 паркет файликов по 100 МБ, они там лежат один раз записанные и есть не просят.
Вы кладете в КХ 100 паркет инсертов по 100MБ получаем сто партов _0, КХ мержит - берет первые 5, читает, распаковывает, соединяет, запаковывает, записывает парт_level_1 500МБ, берет следующие 5, потом берет и начинает мержить _1 из 500МБ в большие парт_level_2 по 1.5ГБ, и так до утра, весь диск с i/o 100% и CPU на 400%
У меня есть дата-лейки и на HDFS и на КХ, которые записываются один раз и читаются тоже в основном фулсканом 1 раз, я понимаю где смешно
DM
я говорю про мержи.
Вы кладете в hdfs 100 паркет файликов по 100 МБ, они там лежат один раз записанные и есть не просят.
Вы кладете в КХ 100 паркет инсертов по 100MБ получаем сто партов _0, КХ мержит - берет первые 5, читает, распаковывает, соединяет, запаковывает, записывает парт_level_1 500МБ, берет следующие 5, потом берет и начинает мержить _1 из 500МБ в большие парт_level_2 по 1.5ГБ, и так до утра, весь диск с i/o 100% и CPU на 400%
У меня есть дата-лейки и на HDFS и на КХ, которые записываются один раз и читаются тоже в основном фулсканом 1 раз, я понимаю где смешно
Вы кладете в hdfs 100 паркет файликов по 100 МБ, они там лежат один раз записанные и есть не просят.
Вы кладете в КХ 100 паркет инсертов по 100MБ получаем сто партов _0, КХ мержит - берет первые 5, читает, распаковывает, соединяет, запаковывает, записывает парт_level_1 500МБ, берет следующие 5, потом берет и начинает мержить _1 из 500МБ в большие парт_level_2 по 1.5ГБ, и так до утра, весь диск с i/o 100% и CPU на 400%
У меня есть дата-лейки и на HDFS и на КХ, которые записываются один раз и читаются тоже в основном фулсканом 1 раз, я понимаю где смешно
но ведь суммарно-то как было 100*100 мб, так и останется, так?
то что кх шебутной и постоянно себе диски теребит - это отдельный вопрос
то что кх шебутной и постоянно себе диски теребит - это отдельный вопрос
DC
но ведь суммарно-то как было 100*100 мб, так и останется, так?
то что кх шебутной и постоянно себе диски теребит - это отдельный вопрос
то что кх шебутной и постоянно себе диски теребит - это отдельный вопрос
да, как было суммарно 100*100 так и останется.
Я сказал что при записи в 100МБ , КХ будет их много раз читать и записывать, пока они не станут частью максимально возможного по размеру парта.
Я сказал что при записи в 100МБ , КХ будет их много раз читать и записывать, пока они не станут частью максимально возможного по размеру парта.
K
Всем привет, подскажите пожалуйста, когда ловим такую ошибку, это в max_threads упираемся уже?
DB::Exception: Cannot schedule a task: While executing CreatingSetsTransform
DB::Exception: Cannot schedule a task: While executing CreatingSetsTransform
DC
Всем привет, подскажите пожалуйста, когда ловим такую ошибку, это в max_threads упираемся уже?
DB::Exception: Cannot schedule a task: While executing CreatingSetsTransform
DB::Exception: Cannot schedule a task: While executing CreatingSetsTransform
нет. Версия КХ ?
K
20.8.9 revision 54438DC
20.8.9 revision 54438и что за запрос ? шардов много?
DC
Помогите, пожалуйста: у меня вылезает странная ошибка из jdbc, причем в одних вариантах запуска она есть, а в других нет. Запрос и ошибка тут https://paste.yandex-team.ru/4101946
тут почти нет сотрудников яндекса, вашу ссылку не открыть
DC
как получить пересечение результатов двух запросов? select ....INTERSECT select - есть такой функционал?
не должно быть таких вопросов с OLAP , скорее всего вашу задачу можно и нужно решить совсем по другому
AG
Добрый день.
Подскажите, как 100% ограничить потребление RAM на сервере ( Ubuntu) для кликхауса?
Нашел ответы, но чот все в открытых issues.
Подскажите, как 100% ограничить потребление RAM на сервере ( Ubuntu) для кликхауса?
Нашел ответы, но чот все в открытых issues.
K
и что за запрос ? шардов много?
6 шардов
INSERT INTO дистрибьютед1
SELECT FROM дистрибьютед2
JOIN дистрибьютед3
JOIN дистрибьютед4
INSERT INTO дистрибьютед1
SELECT FROM дистрибьютед2
JOIN дистрибьютед3
JOIN дистрибьютед4
AS
Подскажите пожалуйста
есть кейс:
clickhouse с данными, которые раз в неделю дополняются данными из полного бекапа при помощи clickhouse-backup restore. Есть ощущение, что некоторые данные дублируются.
Нужно ли делать drop всех данных перед рестором или нет?
есть кейс:
clickhouse с данными, которые раз в неделю дополняются данными из полного бекапа при помощи clickhouse-backup restore. Есть ощущение, что некоторые данные дублируются.
Нужно ли делать drop всех данных перед рестором или нет?
S
Добрый день.
Подскажите, как 100% ограничить потребление RAM на сервере ( Ubuntu) для кликхауса?
Нашел ответы, но чот все в открытых issues.
Подскажите, как 100% ограничить потребление RAM на сервере ( Ubuntu) для кликхауса?
Нашел ответы, но чот все в открытых issues.
S
Подскажите пожалуйста
есть кейс:
clickhouse с данными, которые раз в неделю дополняются данными из полного бекапа при помощи clickhouse-backup restore. Есть ощущение, что некоторые данные дублируются.
Нужно ли делать drop всех данных перед рестором или нет?
есть кейс:
clickhouse с данными, которые раз в неделю дополняются данными из полного бекапа при помощи clickhouse-backup restore. Есть ощущение, что некоторые данные дублируются.
Нужно ли делать drop всех данных перед рестором или нет?
хм, вы clickhouse-backup restore делаете при работающем clickhouse-server ?
AG
AG
Подскажите единицу измерения max_server_memory_usage ? Байты?
DT
Подскажите единицу измерения max_server_memory_usage ? Байты?
да, обычно это всегда байты