Телеграмм чат группы clickhouse

2020 July 11

AP

Anton Patsev in ClickHouse не тормозит

Dmitry Vasiliev

log - не распаршен и хранится как string, имею ввиду

Аа. Понял

источник

19:12пожаловаться #1

DV

Dmitry Vasiliev in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

была такая фича indexHint, не работала к сожалению.

но вообще в вашем случае просто надо time задавать диапазоном + - 5мин. если ничего не вернулось, расширять диапазон, програмно, на стороне клиента

я думаю правильно будет объединять строки на стороне граббера логов

источник

19:12пожаловаться #2

DT

Dmitry Titov in ClickHouse не тормозит

Ну в теории можно было бы делать group by 5 минут и под а потом в having фильтровать что не подошло по условию

источник

19:12пожаловаться #3

DT

Dmitry Titov in ClickHouse не тормозит

Но вообще не панацея

источник

19:13пожаловаться #4

DV

Dmitry Vasiliev in ClickHouse не тормозит

ок, спасибо. просто у elasticsearch + kibana это вообще коробочная штука (поиск документов рядом)
понятно что у них другая ниша, думал уже есть такое в CH

источник

19:13пожаловаться #5

DC

Denny Crane (I don't... in ClickHouse не тормозит

Dmitry Vasiliev

ок, спасибо. просто у elasticsearch + kibana это вообще коробочная штука (поиск документов рядом)
понятно что у них другая ниша, думал уже есть такое в CH

они тупо по времени рядом показывают

источник

19:14пожаловаться #6

DV

Dmitry Vasiliev in ClickHouse не тормозит

угу, а как тут поступить?
я хочу найти слово exception (их допустим за 15 минут произошло 100 штук) и строки рядом +/- 10 (grep -A 10)

источник

19:15пожаловаться #7

DC

Denny Crane (I don't... in ClickHouse не тормозит

Dmitry Vasiliev

угу, а как тут поступить?
я хочу найти слово exception (их допустим за 15 минут произошло 100 штук) и строки рядом +/- 10 (grep -A 10)

ну время у вас выделено в отдельную колонку? (В elk кстати обязательно надо задать колонку timestamp)
ну и выбирайте +-5 мин. от времени события (лишенее откинете на клиенте, ничего не выбралось, расширяете диапазон)

источник

19:17пожаловаться #8

DV

Dmitry Vasiliev in ClickHouse не тормозит

вообще скажу на чистоту заменил 8 машин ELK на 2 машины с CH 🙂 и даже используя CH как тупо grep (like/position) - хватает производительности 🙂

источник

19:18пожаловаться #9

DV

Dmitry Vasiliev in ClickHouse не тормозит

еще бы с aws s3 работало (non-default region) цены бы не было 🙂

источник

19:19пожаловаться #10