Телеграмм чат группы clickhouse

2020 August 05

AK

Andrii Kakoichenko in ClickHouse не тормозит

Почитав спеку на asof join посчитал, что вот он наш святой грааль объединения датасетов в 1. Но, как я понял, на него не стоит уповать?

источник

13:29пожаловаться #1

И

Илья in ClickHouse не тормозит

Коллеги, я сделал
ALTER TABLE table MODIFY TTL dt + INTERVAL 100 DAY;
Но количество записей в таблице не изменилось, хотя точно известно, что там полно записей старее 100 дней. Никто не знает, почему так могло произойти и как проверить, что сейчас в таблице действительно прописались изменения (describe не показывает ничего про TTL)

источник

14:41пожаловаться #2

P

Pavel in ClickHouse не тормозит

Илья

Коллеги, я сделал
ALTER TABLE table MODIFY TTL dt + INTERVAL 100 DAY;
Но количество записей в таблице не изменилось, хотя точно известно, что там полно записей старее 100 дней. Никто не знает, почему так могло произойти и как проверить, что сейчас в таблице действительно прописались изменения (describe не показывает ничего про TTL)

Может только для вставленных после добавления ттл применимо?

источник

14:47пожаловаться #3

PB

Paul Boo in ClickHouse не тормозит

TTL работает только для таблиц, созданных с новым синтаксом (в противном случае вы наткнетесь на https://github.com/ClickHouse/ClickHouse/issues/10177)
Протухшие данные дропаются не сразу, а периодически (контролируется настройкой mergetree и параметром materialize_ttl_after_modify)
Удаление старых данных можно триггернуть командой alter table <table> materialize ttl

GitHub

DB::Exception: Existing table metadata in ZooKeeper differs in TTL · Issue #10177 · ClickHouse/ClickHouse

Describe the bug Performed the update from version 20.1.2.4 to 20.3.5.21, after restart clickhouse does not start. Tried to upgrade to 20.1.6.30 or 20.1.9.54 versions, clickhouse also does not star...

источник

14:48пожаловаться #4

И

Илья in ClickHouse не тормозит

Paul Boo

TTL работает только для таблиц, созданных с новым синтаксом (в противном случае вы наткнетесь на https://github.com/ClickHouse/ClickHouse/issues/10177)
Протухшие данные дропаются не сразу, а периодически (контролируется настройкой mergetree и параметром materialize_ttl_after_modify)
Удаление старых данных можно триггернуть командой alter table <table> materialize ttl

GitHub

DB::Exception: Existing table metadata in ZooKeeper differs in TTL · Issue #10177 · ClickHouse/ClickHouse

Describe the bug Performed the update from version 20.1.2.4 to 20.3.5.21, after restart clickhouse does not start. Tried to upgrade to 20.1.6.30 or 20.1.9.54 versions, clickhouse also does not star...

Прошу прощения, а что за новый синтаксис?

источник

14:49пожаловаться #5

PB

Paul Boo in ClickHouse не тормозит

Илья

Прошу прощения, а что за новый синтаксис?

https://clickhouse.tech/docs/ru/single/#sozdanie-tablitsy

clickhouse.tech

Документация ClickHouse | Документация ClickHouse

ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries

источник

14:51пожаловаться #6

PB

Paul Boo in ClickHouse не тормозит

точнее даже так
https://clickhouse.tech/docs/ru/single/#table_engine-mergetree-creating-a-table

clickhouse.tech

Документация ClickHouse | Документация ClickHouse

ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries

источник

14:52пожаловаться #7

И

Илья in ClickHouse не тормозит

Благодарю

источник

14:53пожаловаться #8

D

Dj in ClickHouse не тормозит

Илья

Коллеги, я сделал
ALTER TABLE table MODIFY TTL dt + INTERVAL 100 DAY;
Но количество записей в таблице не изменилось, хотя точно известно, что там полно записей старее 100 дней. Никто не знает, почему так могло произойти и как проверить, что сейчас в таблице действительно прописались изменения (describe не показывает ничего про TTL)

ТТЛ применяются на мерджах + новые парты.
можете сделать

alter table t materialize ttl

источник

14:55пожаловаться #9

ВЗ

Владимир Зайцев... in ClickHouse не тормозит

Добрый день!

Имею следующую проблему:
делаю запрос

select date from odbc('DSN=postgres_10_10', 'view_with_date')

в ответе получаю '0000-00-00'

если же в постгресе лежит дата в формате timestamp, то в ch она читается из odbc без проблем

версия pg: PostgreSQL 10.10
версия ch: 20.4.2.9

источник

14:57пожаловаться #10

ВЗ

Владимир Зайцев... in ClickHouse не тормозит

Сталкивался ли кто с таким? И как можно обойти?
нашел открытое issue: https://github.com/ClickHouse/ClickHouse/issues/3700 которому уже почти два года, но ответов так и нет

GitHub

При использовании функции ODBC для Postgres в столбец типа Date приходит NULL · Issue #3700 · ClickHouse/ClickHouse

При попытке экспорта таблицы из Postgres с помощью функции ODBC в поле типа Date приходит либо NULL, либо 0000-00-00, либо 1970-01-01. Использую версию v1.0.0.20181017 Допустим, в Postgres есть таб...

источник

14:58пожаловаться #11

DC

Denny Crane (I don't... in ClickHouse не тормозит

Владимир Зайцев

Сталкивался ли кто с таким? И как можно обойти?
нашел открытое issue: https://github.com/ClickHouse/ClickHouse/issues/3700 которому уже почти два года, но ответов так и нет

GitHub

При использовании функции ODBC для Postgres в столбец типа Date приходит NULL · Issue #3700 · ClickHouse/ClickHouse

При попытке экспорта таблицы из Postgres с помощью функции ODBC в поле типа Date приходит либо NULL, либо 0000-00-00, либо 1970-01-01. Использую версию v1.0.0.20181017 Допустим, в Postgres есть таб...

Ну никак. Сделать вью в пг, во вью преобразовать в datetime

источник

15:02пожаловаться #12

AK

Andron Ka in ClickHouse не тормозит

Добрый день. Версия 20.5.4.40
Может кто встречался?
При создании Kafka engine указываю в SETTINGS kafka_max_block_size = 250000, но эффекта нету:
в логих все равно
<Trace> StorageKafka (events_kafka): Polled batch of 65536 messages. Offset position: [ events[0:118227815] ]
ПС: в версии 20.4.4.18 параметр работал корректно.

источник

15:13пожаловаться #13

IP

Ivan V. Protchenko in ClickHouse не тормозит

здраствуйте, подскажите а можно как то ограничить колличество строк в таблице с движком Memory

источник

15:16пожаловаться #14

DC

Denny Crane (I don't... in ClickHouse не тормозит

Ivan V. Protchenko

здраствуйте, подскажите а можно как то ограничить колличество строк в таблице с движком Memory

Нет

источник

15:29пожаловаться #15

DC

Denny Crane (I don't... in ClickHouse не тормозит

Andron Ka

Добрый день. Версия 20.5.4.40
Может кто встречался?
При создании Kafka engine указываю в SETTINGS kafka_max_block_size = 250000, но эффекта нету:
в логих все равно
<Trace> StorageKafka (events_kafka): Polled batch of 65536 messages. Offset position: [ events[0:118227815] ]
ПС: в версии 20.4.4.18 параметр работал корректно.

создайте баг

источник

15:30пожаловаться #16

IP

Ivan V. Protchenko in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

Нет

жаль, а там есть какието параметры у Memory, а то в документации об этом нечего не сказано(

источник

15:30пожаловаться #17

DC

Denny Crane (I don't... in ClickHouse не тормозит