Size: a a a

ClickHouse не тормозит

2020 July 20

DC

Denny Crane (I don't... in ClickHouse не тормозит
ekzjuperi
привет, можно как то
WHERE
   ActionDate  BETWEEN (today() - 90) AND today()
вместо today() вписать конкретную дату например 15.07.20
WHERE
   ActionDate  BETWEEN (toDate('2020-07-15') - 90) AND toDate('2020-07-15')
источник

e

ekzjuperi in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
WHERE
   ActionDate  BETWEEN (toDate('2020-07-15') - 90) AND toDate('2020-07-15')
спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ekzjuperi
спасибо
а ну toDate еще нужен
источник

AK

Alex Konstantinov in ClickHouse не тормозит
Всем привет!
Вопрос: если я буду делать вставку в clickhouse не раз в секунду, а скажем, раз в 100 миллисекунд, будет ли ch больно? Если да, то есть ли какие-то способы как-то настроить clickhouse, чтобы у меня была возможность делать вставку раз в 100 мс?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex Konstantinov
Всем привет!
Вопрос: если я буду делать вставку в clickhouse не раз в секунду, а скажем, раз в 100 миллисекунд, будет ли ch больно? Если да, то есть ли какие-то способы как-то настроить clickhouse, чтобы у меня была возможность делать вставку раз в 100 мс?
можно, зависит от того сколько сотен гигабайт вы будете вставлять каждые 100мс.
источник

AK

Alex Konstantinov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
можно, зависит от того сколько сотен гигабайт вы будете вставлять каждые 100мс.
Объем маленький, по меркам кликхауса, просто я везде читал, что даже маленькими объемами часто вставлять нельзя, я так понял, что я заблуждаюсь?
источник

S

Slach in ClickHouse не тормозит
Alex Konstantinov
Всем привет!
Вопрос: если я буду делать вставку в clickhouse не раз в секунду, а скажем, раз в 100 миллисекунд, будет ли ch больно? Если да, то есть ли какие-то способы как-то настроить clickhouse, чтобы у меня была возможность делать вставку раз в 100 мс?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex Konstantinov
Объем маленький, по меркам кликхауса, просто я везде читал, что даже маленькими объемами часто вставлять нельзя, я так понял, что я заблуждаюсь?
а сколько в граммах?
источник

AK

Alex Konstantinov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а сколько в граммах?
не более мегабайта
источник

AK

Alex Konstantinov in ClickHouse не тормозит
Alex Konstantinov
не более мегабайта
Даже много
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex Konstantinov
не более мегабайта
либо engine=Buffer либо создать таблицу с SETTINGS min_bytes_for_wide_part = '10M', либо оба сразу
источник

AK

Alex Konstantinov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
либо engine=Buffer либо создать таблицу с SETTINGS min_bytes_for_wide_part = '10M', либо оба сразу
Спасибо!
источник

МО

Михаил Озернов... in ClickHouse не тормозит
спасибо
источник

SS

Sergey Slobodyanyuk in ClickHouse не тормозит
только, если это CH - там нужно юзать match
https://clickhouse.tech/docs/en/sql-reference/functions/string-search-functions/#matchhaystack-pattern
источник

DK

Dmitry Konovalchuk in ClickHouse не тормозит
Всем привет!

Обновили КХ (19 -> 20.3.12.112), сыпется много ошибок в лог "Connection reset by peer". Подскажите пожалуйста, проблема известная? Что делать и как искать корень проблемы?

Нашел issue, но там ответов нет: https://github.com/ClickHouse/ClickHouse/issues/5183
источник

О

Олег in ClickHouse не тормозит
Коллеги, привет!
Подскажите, пожалуйста, а как считается квантиль числовой последовательности с помощью функции quantileExact?
На таком запросе: SELECT quantileExact(number) FROM (select arrayJoin([1,2,3,4,5,6,7,8]) as number)
Медиана получается равна 5, а я ожидаю 4.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Konovalchuk
Всем привет!

Обновили КХ (19 -> 20.3.12.112), сыпется много ошибок в лог "Connection reset by peer". Подскажите пожалуйста, проблема известная? Что делать и как искать корень проблемы?

Нашел issue, но там ответов нет: https://github.com/ClickHouse/ClickHouse/issues/5183
от кого сыпется? от distributed запросов? Клиенты жалуются? Может вообще проблемы нет и это просто прерванные запросы?
источник

DK

Dmitry Konovalchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
от кого сыпется? от distributed запросов? Клиенты жалуются? Может вообще проблемы нет и это просто прерванные запросы?
distributed-запросов нет. У нас кластер из 3х реплик.
Клиентские запросы отрабатывают, пока проблем не отловили.
Но на всех трех нодах в логе постоянно эти ошибки.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Konovalchuk
distributed-запросов нет. У нас кластер из 3х реплик.
Клиентские запросы отрабатывают, пока проблем не отловили.
Но на всех трех нодах в логе постоянно эти ошибки.
от кого сыпется? может это replicated репликации?
источник

DK

Dmitry Konovalchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
от кого сыпется? может это replicated репликации?
да вот и предполагаем, что возможно это репликация. Но подтвердить не можем. Как понять откуда сыпется?

Трейс лог:

0. Poco::IOException::IOException(int) @ 0x10522d3f in /usr/bin/clickhouse
1. Poco::Net::ConnectionResetException::ConnectionResetException(int) @ 0xe3741ed in /usr/bin/clickhouse
2. ? @ 0xe38994a in /usr/bin/clickhouse
3. Poco::Net::SocketImpl::receiveBytes(void*, int, int) @ 0xe388013 in /usr/bin/clickhouse
4. Poco::Net::HTTPSession::receive(char*, int) @ 0xe363d18 in /usr/bin/clickhouse
5. Poco::Net::HTTPSession::get() @ 0xe363d83 in /usr/bin/clickhouse
6. Poco::Net::HTTPHeaderStreamBuf::readFromDevice(char*, long) @ 0xe358f7a in /usr/bin/clickhouse
7. Poco::BasicBufferedStreamBuf<char, std::__1::char_traits<char>, Poco::Net::HTTPBufferAllocator>::underflow() @ 0xe3557e8 in /usr/bin/clickhouse
8. std::__1::basic_streambuf<char, std::__1::char_traits<char> >::uflow() @ 0x11035fbe in ?
9. std::__1::basic_istream<char, std::__1::char_traits<char> >::get() @ 0x1103d5b6 in ?
10. Poco::Net::HTTPRequest::read(std::__1::basic_istream<char, std::__1::char_traits<char> >&) @ 0xe35c347 in /usr/bin/clickhouse
11. Poco::Net::HTTPServerRequestImpl::HTTPServerRequestImpl(Poco::Net::HTTPServerResponseImpl&, Poco::Net::HTTPServerSession&, Poco::Net::HTTPServerParams*) @ 0xe361e25 in /usr/bin/clickhouse
12. Poco::Net::HTTPServerConnection::run() @ 0xe360f29 in /usr/bin/clickhouse
13. Poco::Net::TCPServerConnection::start() @ 0xe390dfb in /usr/bin/clickhouse
14. Poco::Net::TCPServerDispatcher::run() @ 0xe39127d in /usr/bin/clickhouse
15. Poco::PooledThread::run() @ 0x105a7d47 in /usr/bin/clickhouse
16. Poco::ThreadImpl::runnableEntry(void*) @ 0x105a3b4c in /usr/bin/clickhouse
17. ? @ 0x105a54ed in /usr/bin/clickhouse
18. start_thread @ 0x76db in /lib/x86_64-linux-gnu/libpthread-2.27.so
19. __clone @ 0x12188f in /lib/x86_64-linux-gnu/libc-2.27.so
(version 20.3.12.112 (official build))
источник