Телеграмм чат группы clickhouse

Да, поступают данные, но в таблицу / вью должны попасть только те, значения которых (v) отличаются от предыдущего по времени (t).

01:33пожаловаться #1

Так задача состоит в том, что бы писать в таблицу только когда произошло изменение, а эта задача красивым образом в кх уже не решает.
Как я понял вопрос

А некрасивым? Потому как, если использовать "сырые" данные на стороне клиента (ну т.е. просто SELECT по исходной таблице), то происходит пересылка огромного количества данных и, кажется, тут уже не до красоты :)

01:35пожаловаться #2

Artem Suleimanov

Как и как часто вы вставляете в таблицу?

Denny Crane [not a Y... in ClickHouse не тормозит

01:37пожаловаться #3

ясно, я ничего вообще не понял. Перечитал еще раз и понял еще меньше.

01:38пожаловаться #4

Ну и да,
Это разные задачи:
1) уменьшить основную таблицу в размерах
2) не пересылать все подряд клиенту

01:38пожаловаться #5

Как и как часто вы вставляете в таблицу?

Это рыночные биржевые данные — тысячи / десятки тысяч записей в секунду. Как — не понял вопроса. INSERT-ом :) Использую clickhouse_driver в питоне.

01:39пожаловаться #6

Artem Suleimanov

Размер батча частота вставок в эту таблицу

01:39пожаловаться #7

Ну и да,
Это разные задачи:
1) уменьшить основную таблицу в размерах
2) не пересылать все подряд клиенту

Я не хотел оптимизировать таблицу. Извиняюсь, если невнятно описал проблему изначально. Мне нужно оптимизировать именно выдачу клиенту(ам).

01:40пожаловаться #8

Artem Suleimanov

Окей, тогда MV тут не причем.

А покажите ваш обычный запрос сейчас?

01:41пожаловаться #9

Запрос на выборку или вставку?

01:43пожаловаться #10

Выборку

01:43пожаловаться #11

SELECT t, 0.5 * (b[1] + a[1]) AS \"v\" FROM ob WHERE t BETWEEN '2021-03-23' AND '2021-03-24' ORDER BY t

01:44пожаловаться #12

b и a — это массивы, значения b[1] и a[1] меняются реально редко, поэтому выдача полна идущих подряд одинаковых значений v

01:46пожаловаться #13

И это одна timeseries серия?

Можно посмотреть на вариант через neighbor

SELECT t, v FROM (SELECT t, 0.5 * (b[1] + a[1]) AS \"v\" FROM ob WHERE t BETWEEN '2021-03-23' AND '2021-03-24' ORDER BY t

) WHERE neighbor(v,-1) !=v

01:48пожаловаться #14

Он сбрасывает состояние каждый блок, но в вашем случае это не важно

01:49пожаловаться #15

И это одна timeseries серия?

Можно посмотреть на вариант через neighbor

SELECT t, v FROM (SELECT t, 0.5 * (b[1] + a[1]) AS \"v\" FROM ob WHERE t BETWEEN '2021-03-23' AND '2021-03-24' ORDER BY t

) WHERE neighbor(v,-1) !=v

Вопроса не понял. Сейчас попробую, спасибо!

01:50пожаловаться #16

Он сбрасывает состояние каждый блок, но в вашем случае это не важно

Работает) Только значение в последней строке дублируется

Georgii Danilov in ClickHouse не тормозит

02:00пожаловаться #17

доброе утро!
Как добавить такой progress bar в jupyter-notebook?

Denny Crane [not a Yandex bot]

09:36пожаловаться #18

Dj in ClickHouse не тормозит

google говорит

You’ll see your Invite link but by default, this expires in 30 days. You need it to last forever. Press the red “Deactivate link” text and then confirm you wish to do so.
Now you’ll be back on the original pop-up, press “Get an invite link to share”. On the next screen open the dropdown and select “Never expires”. Copy the link.

картинки тут https://getlowdown.com/how-to-create-a-slack-community-and-landing-page-in-one-hour/

блин, ссылка утекла что ли )

Bral Bral in ClickHouse не тормозит

10:16пожаловаться #19

Georgii Danilov

доброе утро!
Как добавить такой progress bar в jupyter-notebook?

Прогресс выполнения запроса можно отслеживать с помощью заголовков ответа X-ClickHouse-Progress. Для этого включите send_progress_in_http_headers. Пример последовательности заголовков:

X-ClickHouse-Progress: {"read_rows":"2752512","read_bytes":"240570816","total_rows_to_read":"8880128"} X-ClickHouse-Progress: {"read_rows":"5439488","read_bytes":"482285394","total_rows_to_read":"8880128"} X-ClickHouse-Progress: {"read_rows":"8783786","read_bytes":"819092887","total_rows_to_read":"8880128"}

Возможные поля заголовка:

read_rows — количество прочитанных строк.

read_bytes — объём прочитанных данных в байтах.

total_rows_to_read — общее количество строк для чтения.

written_rows — количество записанных строк.

written_bytes — объём записанных данных в байтах.

А дальше tqdm или свою принтер делайте.