Size: a a a

ClickHouse не тормозит

2020 September 16

V

Vladimir in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так дефолтный listen_host = localhost


но предположим что вы запускаете КХ с listen_host = 0.0.0.0
и КХ слушает 0.0.0.0 для всех трех протоколов 8123, 9000, prometheus
и вы ограничиваете пользователю доступ через networks чтобы пользоваль ходит к 8123 только с определнных ip
и что дальше? ломается скреппер потому что он ходит с сдругого ip ?
или что?
да, telnet не идет на порт prometheus(8001) когда на 8123 идет. Ну и на самой машине могу подцепиться к 8001
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladimir
да, telnet не идет на порт prometheus(8001) когда на 8123 идет. Ну и на самой машине могу подцепиться к 8001
у вас на сервере файерволом доступ закрыт, дело не в КХ

запустите nc на 8002, и попорбуйте телнетом к 8002 подключится
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
у вас на сервере файерволом доступ закрыт, дело не в КХ

запустите nc на 8002, и попорбуйте телнетом к 8002 подключится
хммм, ок, проверю. Спасибо
источник

w

waaaaaaaaat in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
у вас в таблице индекс (domainName, time, decision)

и запрос  userID = '123412341234' AND  policyID = '943075093475' AND campusID = '321846928346' AND
подозреваю что какое-то из этих полей с большой кардинальностью и позволяет отфильтровать

но индекс не подходит

т.е. если надо быстрее сделать именно такие запросы, то дешевле (в деньгах) либо сделать другой порядок в таблице, либо сделать эмуляцию инверсного индекса через дополнительную таблицу. Т.е. не ускорять фуллскан, а избавится от него.
спасибо за ответ! :) пошел обсуждать с командой
источник

НГ

Николай Гусев... in ClickHouse не тормозит
День добрый!

Подскажите, что делает ORDER BY при создании таблицы? Я ожидал, что в таблице будут хранится строки, отсортированные по этому полю и , соответственно, выводиться также, но выводятся они в произвольном порядке
источник

CO

Chern Oleksander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нету коментов для таблиц, забыли сделать
а как так? ))
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Николай Гусев
День добрый!

Подскажите, что делает ORDER BY при создании таблицы? Я ожидал, что в таблице будут хранится строки, отсортированные по этому полю и , соответственно, выводиться также, но выводятся они в произвольном порядке
строки хранятся  порядке ORDER BY

выводятся они в произвольном порядке, точно также как любой другой субд. 999 потоков читают таблицу в произвольных местах, 1 поток прочитал из середины первым потому что этот кусок был в памяти, а первый кусок был на диске.

все SQL базы ТРЕБУЮТ наличия ORDER BY в SELECT (если нужен порядок в результате запроса)!
источник

НГ

Николай Гусев... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
строки хранятся  порядке ORDER BY

выводятся они в произвольном порядке, точно также как любой другой субд. 999 потоков читают таблицу в произвольных местах, 1 поток прочитал из середины первым потому что этот кусок был в памяти, а первый кусок был на диске.

все SQL базы ТРЕБУЮТ наличия ORDER BY в SELECT (если нужен порядок в результате запроса)!
Понял, спасибо!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Chern Oleksander
а как так? ))
вы же ушли уже на bigquery , какая уже разница
источник

CO

Chern Oleksander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вы же ушли уже на bigquery , какая уже разница
еще мучаюсь с кх, но в надежде в скором переезде)
Но спасибо за ответ
источник

М

Максим in ClickHouse не тормозит
Ребят, а подскажите, если не стартует CL из-за одной таблицы - ошибка ниже - как-то ее можно пропустить\удалить  ?
Application: DB::Exception: Codec DoubleDelta is not applicable for
источник

М

Максим in ClickHouse не тормозит
может настройка есть скипнуть
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Chern Oleksander
еще мучаюсь с кх, но в надежде в скором переезде)
Но спасибо за ответ
оперсоурс разработка, собор базар , почитайте. https://ru.wikipedia.org/wiki/%D0%A1%D0%BE%D0%B1%D0%BE%D1%80_%D0%B8_%D0%91%D0%B0%D0%B7%D0%B0%D1%80
источник

М

Максим in ClickHouse не тормозит
я  не глядя апдейтнул тестовый стенд с 20.4 до 20.8, теперь не стартую. откатываться или есть возможность как-то хотя бы удалить эту таблицу
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим
я  не глядя апдейтнул тестовый стенд с 20.4 до 20.8, теперь не стартую. откатываться или есть возможность как-то хотя бы удалить эту таблицу
покажите
cat ..../metadata.../....sql
источник

М

Максим in ClickHouse не тормозит
ATTACH TABLE zstd_max_test
(
   name String CODEC(ZSTD(1)),
   rid UInt32 CODEC(ZSTD(1)),
   handle String CODEC(ZSTD(1)),
   events.key Array(String) CODEC(ZSTD(1)),
   events.val Array(DateTime64(3)) CODEC(DoubleDelta, LZ4),
   hash FixedString(16) CODEC(ZSTD(1)),
   date Date MATERIALIZED toDate(now()) CODEC(DoubleDelta, LZ4)
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/01/zones_norepl/zstd_max_test', '{hostname}.srv.local')
PARTITION BY date
ORDER BY (name,rid)
SETTINGS index_granularity = 8192
источник

М

Максим in ClickHouse не тормозит
я так понимаю ему не нравится вот это Array(DateTime64(3)) CODEC(DoubleDelta, LZ4),
источник

М

Максим in ClickHouse не тормозит
мне эта таблица не нужна - я бы ее вообще удалил.
только откатываться?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим
мне эта таблица не нужна - я бы ее вообще удалил.
только откатываться?
в массивах кодеки Delta не работают кажется

удалите этот .sql  файл и все
(ну в зукипере можно потом удалить остатки /clickhouse/tables/01/zones_norepl/zstd_max_test
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
кх не имеет системного каталога. Он грузит таблицы читая metadata
источник