Возник еще один теоретический вопрос. Данные прилетают в реальном времени. Значит, +- они отсортированы по времени. Я их накапливаю и вставляю раз в секунду. Правильно ли я понимаю, что КХ сразу записывает на диск как есть все, что я ему прислал и потом в фоне начинает сортировать и мержить? Или он перед записью на диск сортирует их по ORDER BY ключу и только после пишет на диск? Имеет ли смысл в моей батчилке предварительно самому сортировать их в правильном порядке?

Кликхаус перед записью на диск всегда сортирует данные, обычно не имеет смысла сортировать самому, потому что кликхаус это умеет делать быстро и обычно быстрее, чем люди напишут:)

Вот и я так подумал, но решил уточнить

Но небольшое уточнение, что в случае ReplacingMergeTree при обработке инсерта кликхаус не удаляет дубликаты.

В том смысле, что дубликаты будут удалены во время мержа позже?

Ага

Сортируются парты, инсерт стримается, если например сделать инсерт 100 млн. записей, то первый миллион будет отсортирован и записан еще до того как клиент отправит 2й миллион

Добрый день! Подскажите пожалуйста,я правильно понимаю, что причина  ошибки (имхо) при подключении к серверу

n="Exception" t="System.Collections.Generic.KeyNotFoundException"
 n="Message">The given key was not present in the dictionary.
 n="Data"
 n="InnerException"
 n="TargetSite">Void ThrowKeyNotFoundException()
 n="StackTrace">   at System.ThrowHelper.ThrowKeyNotFoundException()
  at System.Collections.Generic.Dictionary`2.get_Item(TKey key)
  at ClickHouse.Ado.ClickHouseConnectionSettings.SetValue(String name, String value)
  at ClickHouse.Ado.ClickHouseConnectionSettings..ctor(String connectionString)

- не хватает какого то обязательного параметра в строке подключения?
заранее очень благодарен... четвертый день не могу победить (((

здравствуйте, никто не сталкивался с необходимостью изменения ключа партицирования в существующей таблице? Конкретно интересует увеличение с дня до месяца

Сталкивались, пока что нужно полностью переливать таблицу

есть какие то нюансы? таблица реплицированая, которою переливали?

даунтайм был? сколько примерно записей? сколько времени заняло?

Ну тут особой разницы нет.

можно и почти без даунтайма, времени может занять долго, в зависимости от размера таблицы.

Всем привет! Подскажите, можно ли обновляться на версию 20.7 или лучше на 20.6 (например, в Я.Облаке эта версия максимальная). текущая версия 20.3

@unamedrus спасибо

Презентация "Две низкоуровневые оптимизации, которые я сделал вчера": https://presentations.clickhouse.tech/database_saturday_2020/
Видео: https://youtu.be/chY9LnhLjco?t=8586

______

Юристам нужна наша помощь по логотипу, просьба потратить минутку на короткрий опрос: https://forms.yandex.ru/surveys/10022588.cef650836a35cf646d91bf2e532696e9660a2427/

Привет, подскажите, пожалуйста, как можно вызвать функцию с параметром, имея название этой функции в виде строки? Например, 'toStartOfFiveMinute'? Есть какой-нибудь eval() или что-то вроде него?

Или как можно значение из стобца преобразовать в константу INTERVAL 1 day, чтобы передать в toStartOfInterval(dt, INTERVAL 1 day)?

две низкоуровневые вчера, давайте одну высокоуровневую - сегодня )))
https://github.com/ClickHouse/ClickHouse/issues/11722