Size: a a a

ClickHouse не тормозит

2020 September 17

НЧ

Николай Чернов... in ClickHouse не тормозит
Dmitry Titov
мб сделать JOIN а до этого развернуть этот массив в таблицу.
надо попробовать
источник

DK

Dmitry Kozeev in ClickHouse не тормозит
Привет вопрос простой запрос (insert into reports.click_report_labexa_base_view_for_invoice_production_mergetree
select * from reports.click_report_labexa_base_view_for_invoice_production_log;)
грузит данные несколько секунд и потом клик падает не могу разобраться в чем причина
источник

DK

Dmitry Kozeev in ClickHouse не тормозит
как будто происходит переполнение по ресурсам но там всего -то 7,5 млн строк в таблице плюс на сервере кроме клика нет ничего. Заранее спасибо за какую либо помощь и указания направления куда копать.
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
docker запущен на osx. Но http интерфейс по адресу http://localhost:8123/ не доступен. Подскажите что не так :)
источник

V

Vladimir in ClickHouse не тормозит
Vladimir
Привет! Вот этот дэшборд будет работать со встроенным в clickhose экспортером? https://grafana.com/grafana/dashboards/882
Похоже не работает.
Существуют ли публичные шаблоны дэшбордов для нативных prometheus метрик кликхауса?
источник

D

Dj in ClickHouse не тормозит
Николай Чернов
А подскажите ещё, есть запрос возвращающий 10 строк, и есть массив, в котором тоже 10 элементов. Как мне этот массив превратить в доп. колонку этого запроса, чтоб в каждой строке было по одному элементу из массива?
select intcolarr , arrcolarr from (
 select  groupArray(intcol) intcolarr, any(arrcol) arrcolarr
 from (
 select cityHash64(number) intcol, range(10) arrcol from numbers(10)
 )
) array join intcolarr, arrcolarr;
источник

D

Dj in ClickHouse не тормозит
Николай Чернов
А подскажите ещё, есть запрос возвращающий 10 строк, и есть массив, в котором тоже 10 элементов. Как мне этот массив превратить в доп. колонку этого запроса, чтоб в каждой строке было по одному элементу из массива?
а, вам не рандомно, ну можете отсортировать массив как надо и все
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir
Похоже не работает.
Существуют ли публичные шаблоны дэшбордов для нативных prometheus метрик кликхауса?
https://grafana.com/grafana/dashboards/869
Я как то использовал вроде этот, там только подправить нужно имена метрик и будет работать.
источник

V

Vladimir in ClickHouse не тормозит
Dmitry Titov
https://grafana.com/grafana/dashboards/869
Я как то использовал вроде этот, там только подправить нужно имена метрик и будет работать.
спасибо!
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir
спасибо!
Вообще твой тоже должен работать был я думаю, но нужно исправлять названия метрик так же
источник

AE

Alexey Er in ClickHouse не тормозит
А OPTIMIZE с указанием партиции и без различаются логически? Вроде как второе должно быть подмножеством первого.

У меня получилось, что OPTIMIZE table (без final) берёт 2-3 рандомных куска в обработку, если верить дебаг-выводу ((MergerMutator): Selected 2 parts).  И после этого, даже после нескольких вызовов и выжидания удаления неактивных кусков, в таблице остаются дубли по ключу.

OPTIMIZE <table> partition id <id> берёт все ~8 кусков, относящиеся к партиции, и дубли внутри этой партиции сразу убирает.
источник

V

Vladimir in ClickHouse не тормозит
Dmitry Titov
Вообще твой тоже должен работать был я думаю, но нужно исправлять названия метрик так же
я попытался)
к примеру query_totals на что нативное мапится?) Мне пока опыта не хватает.
источник

НЧ

Николай Чернов... in ClickHouse не тормозит
Dj
а, вам не рандомно, ну можете отсортировать массив как надо и все
да я уже по совету выше сделал с джойном
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Abdulgalimov
docker запущен на osx. Но http интерфейс по адресу http://localhost:8123/ не доступен. Подскажите что не так :)
-p 8123:8123

docker run -d --name test --ulimit nofile=262144:262144  -p 8123:8123 yandex/clickhouse-server
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
-p 8123:8123

docker run -d --name test --ulimit nofile=262144:262144  -p 8123:8123 yandex/clickhouse-server
👍 спасибо
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir
я попытался)
к примеру query_totals на что нативное мапится?) Мне пока опыта не хватает.
А это решается таким образом открывается веб морда прометеуса либо сам пром эндпоинд кх и делается поиск либо по query либо по  total
там вся разница вроде в том, что кх в нативном использует  PascalCase вроде
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Kozeev
Привет вопрос простой запрос (insert into reports.click_report_labexa_base_view_for_invoice_production_mergetree
select * from reports.click_report_labexa_base_view_for_invoice_production_log;)
грузит данные несколько секунд и потом клик падает не могу разобраться в чем причина
памяти не хватает.

oom killer
источник

DK

Dmitry Kozeev in ClickHouse не тормозит
Там 16 gb. Т.е надо в настройках где то ограничить если я правильно помню конфиг файл? Или есть другое решение?
источник

D

Dj in ClickHouse не тормозит
Николай Чернов
да я уже по совету выше сделал с джойном
наивный метод
  select  intcol, (arrayFilter(x->x.2=intcol, arrcol) as arr).1 as arrid, arr.2 as arrJoinedHashKey
 from (
 select cityHash64(number) intcol,  arrayMap(x-> (x, cityHash64(x) ), range(10)) arrcol from numbers(10)
 )

менее наивный

select intcolarr, arrSorted.1, arrSorted.2 from (
 select  arraySort(x->x, groupArray(intcol)) intcolarr, arraySort(x->x.2, any(arrcol)) as arrSorted
 from (
 select cityHash64(number) intcol,  arrayMap(x-> (x, cityHash64(x) ), range(10)) arrcol from numbers(10)
 )
) array join intcolarr, arrSorted;

```
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Er
А OPTIMIZE с указанием партиции и без различаются логически? Вроде как второе должно быть подмножеством первого.

У меня получилось, что OPTIMIZE table (без final) берёт 2-3 рандомных куска в обработку, если верить дебаг-выводу ((MergerMutator): Selected 2 parts).  И после этого, даже после нескольких вызовов и выжидания удаления неактивных кусков, в таблице остаются дубли по ключу.

OPTIMIZE <table> partition id <id> берёт все ~8 кусков, относящиеся к партиции, и дубли внутри этой партиции сразу убирает.
optimize table просто инициация внеочередного мержа, оптимизирует какую-то одну партицию
источник