Это уже ближе к ответу, спасибо

Подскажите, если я храню данные за последние 60 дней, PARTITION BY toYYYYMM(date) для меня будет не очень оптимальным, я прав, ведь всего будет две партиции? Вопрос таков: можно ли сделать toDayOfYear(date)? Будет ли ClickHouse понимать нужные партиции при выборке ... WHERE date > '2020-07-15? И если такой ключ для партиционирования не очень оптимален, то какой лучше взять?

можно сделать просто PARTITION BY date
на самом деле там чуть хитрее и кликхаус хранит минимальные и максимальные значения столбца учавствующего в ключе партицирования, так что все будет ок

Спасибо. У меня вообще несколько вопросов накопилось. Правильно ли я понимаю, что если ключ партиционирования по дате, то в ORDER BY первым значением эту дату тоже полезно положить, особенно если в выборках эта дата почти всегда фигурирует? Правильно ли я понимаю исходя из этой иллюстрации, что порядок внутри ORDER BY имеет значение, верно? Где можно почитать про правильный выбор полей, которые нужно ложить в ORDER BY?

Допустим запрос WHERE date > '2020-07-05' AND user_id = 100, при PARTITION BY date ORDER BY (date, user_id) будет выполнятся максимально эффективно. А что делать с таким запросом: WHERE date > '2020-07-05' AND event_id = 200?

> Правильно ли я понимаю, что если ключ партиционирования по дате, то в ORDER BY первым значением эту дату тоже полезно положить,
если у вас партиционирование по дате, класть ее в ORDER BY нет никакого смысла.
> порядок внутри ORDER BY имеет значение, верно?
Да.
> Где можно почитать про правильный выбор полей, которые нужно ложить в ORDER BY?
Основное правило в начало идут низко кардинальные поля, по которым часто идет фильтрация

> если у вас партиционирование по дате, класть ее в ORDER BY нет никакого смысла.__
Подскажите, почему? Смотрю сейчас тестовые данные в туториале, там именно так и сделано

Это две большие разницы:)
в примере идет партицирование по месяцам, а в ORDER BY идет уже сама дата

Если же ты сделаешь партицирование по дате, то у тебя в одной партиции будет одна и таже дата, и смысла от такой колонки в ORDER BY не будет.

Да. Но допустим если партиционирование по самой дате (а не по YYYYMM) разве внутри парта сортировка по дате не поможет отсекать большую часть данных при наличии в условии самой даты?

у тебя внутри парта будет только 1 дата, допустим '2020-08-10', вся колонка целиком одно и тоже значение, отсечь ничего не получится

А. Я понял вас) там тип Date, действительно

Всем привет! Cтолкнулся с ошибкой 400 Bad request при batch insert в jdbc driver. Запрос выглядит так:

http-outgoing-2 >> "POST /?query=INSERT+INTO+objects+ЗДЕСЬ МНОГО КОЛОНОК++FORMAT+TabSeparated&database=default&user=default&compress=1 HTTP/1.1
http-outgoing-2 >> "Transfer-Encoding: chunked[\r][\n]"
http-outgoing-2 >> "Host: localhost:33128[\r][\n]"
http-outgoing-2 >> "Connection: Keep-Alive[\r][\n]"
http-outgoing-2 >> "User-Agent: Apache-HttpClient/4.5.12 (Java/14)[\r][\n]"
http-outgoing-2 >> "[\r][\n]"
http-outgoing-2 >> "2f23[\r][\n]"
http-outgoing-2 >> “ЗДЕСЬ ДАННЫЕ”

То есть в случае batch запрос разбит на 2 части, 1 часть в query param, вторая в body. В документации нашел:

Send the request as a URL ‘query’ parameter, or as a POST. Or send the beginning of the query in the ‘query’ parameter, and the rest in the POST (we’ll explain later why this is necessary). The size of the URL is limited to 16 KB, so keep this in mind when sending large queries.

У меня как раз больше из-за большого числа колонок. А как быть то в этой ситуации?

Причем, если это отдельный insert, ошибки нет, строка запроса выглядит так:
http-outgoing-2 >> "POST /?database=default&query_id=734db7fa-686d-4b66-831a-be65543b5e83&compress=1&user=default HTTP/1.1[\r][\n]"
То есть весь запрос в body

Код состояния ответа "HTTP 400 Bad Request" указывает, что сервер не смог понять запрос из-за недействительного синтаксиса. Клиент не должен повторять этот запрос без изменений.

Если jdbc, то пользуйте preparedstatement :)

PreparedStatement использую

Не оч понятна тогда связь с ошибкой http клиента

jdbc-драйвер использует org.apache.httpcomponents.httpclient

подскажите, чтобы сделать дистрибуцию по типу UUID единственный вариант делать

cityHash64(toString(UUID))

?  или как то еще можно?