Size: a a a

ClickHouse не тормозит

2020 July 14

D

Dj in ClickHouse не тормозит
Andrey
Согласен, уже подумал и завтра попробую реализовать на стороне приложения, там есть на вскидку не приятные вопросы - такие как гарантированная запись. Пока не могу понять почему движек Buffer нужно менять на чтото свое
если нужна гарантия, то в киттенхаус/прокси есть персистенс, даже видео было сравнения
источник

A

Andrey in ClickHouse не тормозит
Dj
ну буфер просто ровно так же ничего не гарантирует )
🧐 поизучаю, спасибо )
источник

D

Dj in ClickHouse не тормозит
Andrey
🧐 поизучаю, спасибо )
источник

A

Andrey in ClickHouse не тормозит
Добра вам ) спасибо
источник

IS

Ilya Skriblovsky in ClickHouse не тормозит
Добрый день!

Работает одинокая виртуалка с КХ с Replicated-таблицами. Когда-то, когда эти таблицы создавались, виртуалка имела внешний IP, с тех пор она его лишилась. Теперь понадобилось добавить реплику, но теперь у виртуалки с данными другой внешний IP. Однако, в zookeeper остался прежний айпишник в /clickhouse/tables/01-01/tablename/replicas/replicaname/host. Из-за этого новая реплика не может скачать данные, стучась в несуществующий ip.

Как-то можно исправить адрес ноды с данными в Зукипере?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Skriblovsky
Добрый день!

Работает одинокая виртуалка с КХ с Replicated-таблицами. Когда-то, когда эти таблицы создавались, виртуалка имела внешний IP, с тех пор она его лишилась. Теперь понадобилось добавить реплику, но теперь у виртуалки с данными другой внешний IP. Однако, в zookeeper остался прежний айпишник в /clickhouse/tables/01-01/tablename/replicas/replicaname/host. Из-за этого новая реплика не может скачать данные, стучась в несуществующий ip.

Как-то можно исправить адрес ноды с данными в Зукипере?
реплика подключается к ZK и пишет туда свой хостнейм в replicaname/host (который она взяла из hostname -f или config.xml если там задан)
другая реплика знает что ей надо скачать с replicaname, смотрит там host, и подключается этому ХОСТУ, ip она берет из днс/etc/hosts...
источник

IS

Ilya Skriblovsky in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
реплика подключается к ZK и пишет туда свой хостнейм в replicaname/host (который она взяла из hostname -f или config.xml если там задан)
другая реплика знает что ей надо скачать с replicaname, смотрит там host, и подключается этому ХОСТУ, ip она берет из днс/etc/hosts...
то есть ключ replicaname/host в ZK перезаписывается при каждом старте реплики, я правильно понял?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Skriblovsky
то есть ключ replicaname/host в ZK перезаписывается при каждом старте реплики, я правильно понял?
да
источник
2020 July 15

IS

Ilya Skriblovsky in ClickHouse не тормозит
Супер, спасибо
источник

IS

Ilya Skriblovsky in ClickHouse не тормозит
Действительно оказалось, что старый айпишник остался в <interserver_http_host>
источник

IS

Ilya Skriblovsky in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
реплика подключается к ZK и пишет туда свой хостнейм в replicaname/host (который она взяла из hostname -f или config.xml если там задан)
другая реплика знает что ей надо скачать с replicaname, смотрит там host, и подключается этому ХОСТУ, ip она берет из днс/etc/hosts...
а как-то можно спровоцировать перезапись этого ключа? Или только рестартом?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Skriblovsky
а как-то можно спровоцировать перезапись этого ключа? Или только рестартом?
рестартом
источник

IS

Ilya Skriblovsky in ClickHouse не тормозит
спасибо
источник

IS

Ilya Skriblovsky in ClickHouse не тормозит
А вот об этом стоит беспокоиться? Это во время создания реплики таблицы
источник

SS

Stepan Stepanov in ClickHouse не тормозит
Ребята привет, подскажите как-то без вложенных селектов можно сделать группировку по айди пользователя с максимальной датой?

| user_id | date |
|      1.     | 2020-01-01|
|      1.     | 2020-01-02|
|      1.     | 2020-01-03|
|      2.     | 2020-01-01|
|      2.     | 2020-01-02|
|      2.     | 2020-01-03|

типа select user_id, max(date) from table where date > 2020-01-01 group by user_id, date

result
| user_id | date |
|      1.     | 2020-01-03|
|      2.     | 2020-01-03|
источник

S

Slach in ClickHouse не тормозит
argMax?
источник

SS

Stepan Stepanov in ClickHouse не тормозит
Slach
argMax?
…Aggregate function argMax(date) is found in WHERE in query …
источник

S

Slach in ClickHouse не тормозит
Stepan Stepanov
…Aggregate function argMax(date) is found in WHERE in query …
ну дык это...
SELECT argMax... AS f, ... FROM ... WHERE ... GROUP BY ...
источник

AK

Anton Khokhrin in ClickHouse не тормозит
Stepan Stepanov
Ребята привет, подскажите как-то без вложенных селектов можно сделать группировку по айди пользователя с максимальной датой?

| user_id | date |
|      1.     | 2020-01-01|
|      1.     | 2020-01-02|
|      1.     | 2020-01-03|
|      2.     | 2020-01-01|
|      2.     | 2020-01-02|
|      2.     | 2020-01-03|

типа select user_id, max(date) from table where date > 2020-01-01 group by user_id, date

result
| user_id | date |
|      1.     | 2020-01-03|
|      2.     | 2020-01-03|
Убрать date из группировки?
Или я что-то не понимаю?
источник

AO

Anton Okulov in ClickHouse не тормозит
Anton Khokhrin
Убрать date из группировки?
Или я что-то не понимаю?
поддерживаю, не очень понятно, если просто дату из группировки убрать - это не то, что нужно?
источник