Size: a a a

ClickHouse не тормозит

2020 August 06

D

Dj in ClickHouse не тормозит
Egor Popov
ого, спасибо попробую👌
select * from system.tables;

и это сломалось )
источник

EP

Egor Popov in ClickHouse не тормозит
Dj
select * from system.tables;

и это сломалось )
надеюсь хоть база не продуктовая?(
источник

D

Dj in ClickHouse не тормозит
Egor Popov
надеюсь хоть база не продуктовая?(
конечно продуктовая. вот обновляю CV параллельно =)
источник

EP

Egor Popov in ClickHouse не тормозит
Dj
конечно продуктовая. вот обновляю CV параллельно =)
ну тогда напоследок можно rm -r /var/lib/clickhouse )
источник

БА

Байкулов Антон... in ClickHouse не тормозит
Дратути, коллеги!

Вопрос такой: хочу развернуть Click House на GoogleCloud. VM на ubuntu 16.04. Задача: складывать данные в Click House через R и потом подключаться к Click House при помощи Power BI. Какие могут быть проблемы? Кто-то может подсказать?
источник

O

Ovseiko in ClickHouse не тормозит
Здравствуйте,

Запрос:
SELECT
   year,
   month,
   day,
   COUNT() * any(_sample_factor) AS data
FROM events
SAMPLE 10000
WHERE (event_time > 1594109197) AND (project_id = 171) AND (year IN (20)) AND (month IN (7, 8)) AND (event_name = 'view')
GROUP BY
   year,
   month,
   day

Получаю ошибку:
Code: 49. DB::Exception: Received from localhost:9000. DB::Exception: RangeReader read 13084 rows, but 13198 expected.

В чем может быть ошибка?

ClickHouse server version 20.1.4.14
источник

SS

Sergey Sergeev in ClickHouse не тормозит
Вопрос про комбинаторы агрегатной функции -State, возможно есть функция или подход к решению? Необходимо найти пересечение (intersection) двух групп пользователей разных сайтов. В документации есть рабочий пример через использование IN, что типа SELECT uniq(UserID) FROM distributed_table WHERE CounterID = 101500 AND UserID IN (SELECT UserID FROM local_table WHERE CounterID = 34)

Допустим у меня уже есть “свертки” по уникам, по дням. Уники уже хранятся в виде результата выполнения комбинатора агрегатной функции uniqCombinedState. Можно ли как-то найти пересечение двух uniqCombinedState?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, привет! Какое-то время назад писал об этой проблеме, но так и не поборол её.
Начала сыпать ошибка WriteBufferFromHTTPServerResponse полный лог ошибки ниже.
Причину не пойму. Куда можно копать, может кто-то сталкивался с таким?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
2020.08.06 08:30:06.473605 [ 38362 ] {} <Error> virtual DB::WriteBufferFromHTTPServerResponse::~WriteBufferFromHTTPServerResponse(): Code: 24, e.displayText() = DB::Exception: Cannot write to ostream at offset 8, Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10ed0da0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x95c923d in /usr/bin/clickhouse
2. ? @ 0xc0cb686 in /usr/bin/clickhouse
3. DB::WriteBufferFromHTTPServerResponse::nextImpl() @ 0xe63fbb2 in /usr/bin/clickhouse
4. DB::WriteBufferFromHTTPServerResponse::~WriteBufferFromHTTPServerResponse() @ 0xe640373 in /usr/bin/clickhouse
5. DB::StaticRequestHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&) @ 0xe68e48a in /usr/bin/clickhouse
6. Poco::Net::HTTPServerConnection::run() @ 0x10db5183 in /usr/bin/clickhouse
7. Poco::Net::TCPServerConnection::start() @ 0x10deebcb in /usr/bin/clickhouse
8. Poco::Net::TCPServerDispatcher::run() @ 0x10def05b in /usr/bin/clickhouse
9. Poco::PooledThread::run() @ 0x10f6db86 in /usr/bin/clickhouse
10. Poco::ThreadImpl::runnableEntry(void*) @ 0x10f68f80 in /usr/bin/clickhouse
11. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
12. __clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Привет! После рестарта кликхауса на /replicas_status был absolute delay в неделю почти. Почему неделя, а не пара минут максимум? Как это значение высчитывается?
источник

Y

Yuri in ClickHouse не тормозит
Гуру, подскажите пожалуйста по проблеме,
есть кластер (v20.4.4, 2 шарда по 2 реплики), 3 ноды из 4х постоянно спамят ошибки по несколько раз в секунду:
<Error> executeQuery: Code: 252, e.displayText() = DB::Exception: Too many partitions for single INSERT block (more than 100).

одна из нод (реплика ноды с которой все ок) спамит дополнительно :
<Error> default.snapshot.DirectoryMonitor: Code: 252, e.displayText() = DB::Exception: Received from xxxx:9000. DB::Exception: Too many partitions for single INSERT block (more than 100)

Причем спамит и в такое время, в которое в КХ никто не пишет. Такое ощущение что репликация какая-то залипла.. но replication_queue пустая на всех нодах. Куда еще можно посмотреть?
источник

l

lnuynxa in ClickHouse не тормозит
Yuri
Гуру, подскажите пожалуйста по проблеме,
есть кластер (v20.4.4, 2 шарда по 2 реплики), 3 ноды из 4х постоянно спамят ошибки по несколько раз в секунду:
<Error> executeQuery: Code: 252, e.displayText() = DB::Exception: Too many partitions for single INSERT block (more than 100).

одна из нод (реплика ноды с которой все ок) спамит дополнительно :
<Error> default.snapshot.DirectoryMonitor: Code: 252, e.displayText() = DB::Exception: Received from xxxx:9000. DB::Exception: Too many partitions for single INSERT block (more than 100)

Причем спамит и в такое время, в которое в КХ никто не пишет. Такое ощущение что репликация какая-то залипла.. но replication_queue пустая на всех нодах. Куда еще можно посмотреть?
Репликация не через инсерты работает
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
У меня есть таблица на engine=kafka. Дальше я построил материализованную вьюху на таблицу data. Вопрос в том, как мне сообщить kafka что запись записалась в таблицу data ?
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
Здравствйте! Вопрос такой - как соотносится, примерно, объем данных, который в клик пишем, и то, что там хранится в итоге на диске?
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Вячеслав Ракицкий
У меня есть таблица на engine=kafka. Дальше я построил материализованную вьюху на таблицу data. Вопрос в том, как мне сообщить kafka что запись записалась в таблицу data ?
Зачем Вам сообщать Кафке о том что была запись?
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Vladyslav Sakun
Зачем Вам сообщать Кафке о том что была запись?
чтобы быть уверенным, что я не потерял запись
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Вячеслав Ракицкий
чтобы быть уверенным, что я не потерял запись
Впервые о таком методе слышу, но с большой вероятностью никак Вы не сообщите Кафке, что запись была осуществлена
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Vladyslav Sakun
Зачем Вам сообщать Кафке о том что была запись?
мне нужно вычитать это данное и записать в другой топик. У меня есть фоновые задачи и мне нужно быть уверенным, что данное записалось, прежде чем я запустил фоновую задачу.
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Вячеслав Ракицкий
мне нужно вычитать это данное и записать в другой топик. У меня есть фоновые задачи и мне нужно быть уверенным, что данное записалось, прежде чем я запустил фоновую задачу.
Если Вы понимаете как работает Кафка, то наверное знаете, что есть некий период, который она хранит сообщения после прочтения. Этим можно воспользоваться в случае если данные не записались, то прочитать их ещё раз для этого Вам конечно же нужно знать смещение
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Vladyslav Sakun
Если Вы понимаете как работает Кафка, то наверное знаете, что есть некий период, который она хранит сообщения после прочтения. Этим можно воспользоваться в случае если данные не записались, то прочитать их ещё раз для этого Вам конечно же нужно знать смещение
спасибо
источник