Телеграмм чат группы clickhouse

Поэтому и приходится использовать неизменяюмую дату для партиционирования, но её как раз нельзя применить в запросах в таком случае.

Alexey Kostarev in ClickHouse не тормозит

12:47пожаловаться #1

AK

А про чутка можно поподробнее?

Да и меня интересует насколько сыровато и в Postgres Wire Protocol

На первый взгляд основные команды из postgres-клиентов выполняются...

12:48пожаловаться #2

DT

Mikhail Dengin

Тогда возникает проблема:
Допустим мы вставили строку с 31.01.XXXX для данных.
Затем эти данные изменились, вставляем новую строку с 01.02.XXXX свежими данными и более новой версией.
Соответственно мы получим задвоение данных, они появятся в том числе при выборке за Январь.

Какой размер таблицы ожидается?
вам нужно сохранять только последнее значение?

12:48пожаловаться #3

MD

Какой размер таблицы ожидается?
вам нужно сохранять только последнее значение?

В пределах миллиарда строк.
Да нужно использовать более свежее значение всегда, поэтому и выбрали ReplacingMergeTree.

12:49пожаловаться #4

DT

Alexey Kostarev

А про чутка можно поподробнее?

Да и меня интересует насколько сыровато и в Postgres Wire Protocol

На первый взгляд основные команды из postgres-клиентов выполняются...

> На первый взгляд основные команды из postgres-клиентов выполняются...
Ну если вас все устраивает, то хорошо :)

https://github.com/ClickHouse/ClickHouse/issues/20869

postgresql dbEngine bug · Issue #20869 · ClickHouse/ClickHouse

when I use clickhouse postgresql dbEngine to connect my postgresql db,I find a bug when my pg table has numeric type col.When I exec "desc pgdb.t1" and pgdb.t1 has numeric type co...

12:50пожаловаться #5

DT

Mikhail Dengin

В пределах миллиарда строк.
Да нужно использовать более свежее значение всегда, поэтому и выбрали ReplacingMergeTree.

Ну, если остаетесь на clickhouse 20.6, то если заранее известен возможный диапазон group_id то лучше использовать intDiv, и я бы не стал делать больше 50 партиций

12:52пожаловаться #6

MD

Ну, если остаетесь на clickhouse 20.6, то если заранее известен возможный диапазон group_id то лучше использовать intDiv, и я бы не стал делать больше 50 партиций

Обновиться не проблема, я думаю. Там подъехало что-то в свежих версиях, связанное с этим?

12:52пожаловаться #7

DT

1млрд/50 ~ 20млн строк на партиции, очень даже мало

Alexey Kostarev in ClickHouse не тормозит

12:52пожаловаться #8

AK

> На первый взгляд основные команды из postgres-клиентов выполняются...
Ну если вас все устраивает, то хорошо :)

https://github.com/ClickHouse/ClickHouse/issues/20869

postgresql dbEngine bug · Issue #20869 · ClickHouse/ClickHouse

when I use clickhouse postgresql dbEngine to connect my postgresql db,I find a bug when my pg table has numeric type col.When I exec "desc pgdb.t1" and pgdb.t1 has numeric type co...

Спасибо за информация
Насчет Wire Protocol не могу сказать все ли устраивает
Пока сильно поверхностный взгляд, но в ближайшее время углубим...

12:53пожаловаться #9

DT

Mikhail Dengin

Обновиться не проблема, я думаю. Там подъехало что-то в свежих версиях, связанное с этим?

кликхаус сможет использовать % для партишн прунниг
Но эт ток с 20.12
https://github.com/ClickHouse/ClickHouse/pull/16253

Prune partition in verbatim way. by amosbird · Pull Request #16253 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Performance Improvement

Changelog entry (a user-readable short descriptio...

12:54пожаловаться #10

DT

Alexey Kostarev

Спасибо за информация
Насчет Wire Protocol не могу сказать все ли устраивает
Пока сильно поверхностный взгляд, но в ближайшее время углубим...

Ну, будут проблемы пишите багрепорты на гитхаб.

12:54пожаловаться #11

MD

Спасибо!

12:55пожаловаться #12

DT

В целом можете вообще без партиций попробовать, кх не будет мержить парты если они более 100гб будут

12:55пожаловаться #13

АЗ

Александр Загребельн... in ClickHouse не тормозит

По настройкам КХ вопрос: исполнение запроса в КХ через драйвер ODBC прерывается по таймауту. Можно это ограничение обойти какой-либо настройкой КХ ? http_connection_timeout не помогла...

Lazoreth in ClickHouse не тормозит

12:56пожаловаться #14

L

Ребят, подскажите пожалуйста - Есть таблица с десятком полей, 5 из них могут быть NULL в зависимости от типа, из-за того что таблица сводная. Есть может быть в кх какие-то более цивилизованные методы для реализации подобных таблиц. Не нравятся лишние поля в тех типах где они не нужны

12:57пожаловаться #15

DT

https://github.com/ClickHouse/clickhouse-jdbc/issues/159

Александр Загребельный

По настройкам КХ вопрос: исполнение запроса в КХ через драйвер ODBC прерывается по таймауту. Можно это ограничение обойти какой-либо настройкой КХ ? http_connection_timeout не помогла...

http read timeout 30 · Issue #159 · ClickHouse/clickhouse-jdbc

Hello, I'm getting http read timeout in 30 seconds. I've checked Clickhouse settings related to timeout which are default as 300 seconds. (receive_timeout and send_timeout options. ...

12:58пожаловаться #16

DT

Lazoreth

Ребят, подскажите пожалуйста - Есть таблица с десятком полей, 5 из них могут быть NULL в зависимости от типа, из-за того что таблица сводная. Есть может быть в кх какие-то более цивилизованные методы для реализации подобных таблиц. Не нравятся лишние поля в тех типах где они не нужны

Какой процент из тех значений может быть null?

Lazoreth in ClickHouse не тормозит

12:59пожаловаться #17

L

Какой процент из тех значений может быть null?

~50% . На портах например нужны subnet\network id. А на дисках нет, таких полей около 5 штук