Size: a a a

ClickHouse не тормозит

2020 June 10

IG

Ilyas Guseynov in ClickHouse не тормозит
Tony
Всем день добрый.
Подскажите, а можно ли как-то сделать таблицу, которая будет дублировать основную таблицу по некоторым правилам?
Хочу сделать дублирующую таблицу с другим ключом сортировки
Материализованная вьюха может подойдёт?
источник

T

Tony in ClickHouse не тормозит
Ilyas Guseynov
Материализованная вьюха может подойдёт?
а в ней можно настроить ключи сортировки?
источник

T

Tony in ClickHouse не тормозит
чет не могу в документации найти про ключи
источник

8S

87198 Skripko in ClickHouse не тормозит
Tony Larin
удалось разобраться? у меня такая же :(
Нет. Все также сыпет переодически, связываю это с багом по optimize. В гите висит issue открытое. Жду обновы
источник

TL

Tony Larin in ClickHouse не тормозит
87198 Skripko
Нет. Все также сыпет переодически, связываю это с багом по optimize. В гите висит issue открытое. Жду обновы
у меня сыпет ток на optimize. А поделитесь ссылкой
источник

8S

87198 Skripko in ClickHouse не тормозит
источник

IG

Ilyas Guseynov in ClickHouse не тормозит
Tony
а в ней можно настроить ключи сортировки?
Она может в любую таблицу данные перекладывать. Это не совсем то же самое что вьюхи в "обычном понимании". В доке точно было
источник

IG

Ilyas Guseynov in ClickHouse не тормозит
источник

TL

Tony Larin in ClickHouse не тормозит
не очень похоже на нашу багу. Или все же оно?
источник

8S

87198 Skripko in ClickHouse не тормозит
Tony Larin
не очень похоже на нашу багу. Или все же оно?
Как таковой инфы по ошибке я не нашел, но помимо этой ошибки у меня есть проблемы с OPTIMIZE описанные в баге, которые появились после обновления вместе с этой ошибкой. Связано это или нет я не знаю, буду смотерть уже после фикса, если не будет другого ответа.
источник

СБ

Светлана Беляева... in ClickHouse не тормозит
источник

U

Ugly in ClickHouse не тормозит
Светлана Беляева
что там? секреты кликхауса?
источник

AB

A B in ClickHouse не тормозит
Ugly
что там? секреты кликхауса?
в итоге уйдет из группы с уверенностью что ей точно нужен кх для аналитики по статистике продаж
источник

vk

vladimir kolobaev in ClickHouse не тормозит
Ребят помогите разобраться в следующей ситуации.
У меня есть кластер из 2 шардов по 2 реплики. Когда отправляю запрос в каждую из локальных таблиц, запрос отрабатывает за 3сек, а когда этот же запрос отправляю в Distributed, он отрабатывает за 30 сек
источник

vk

vladimir kolobaev in ClickHouse не тормозит
я честно говоря ожидал что он отработает за х2 по времени ну явно не за х10
источник

vk

vladimir kolobaev in ClickHouse не тормозит
запрос вида:
SELECT toStartOfMinute(event_datetime) datetime,
      count()
FROM nginx.access_log
PREWHERE event_date BETWEEN toDate(toStartOfMinute(now()-3600)) AND toDate(toStartOfMinute(now())-1)
AND server_name = 'www.hello-world.ru'
WHERE event_datetime BETWEEN toStartOfMinute(now()-3600) AND toStartOfMinute(now())-1
GROUP BY datetime
ORDER BY datetime
источник

ME

Mike E. in ClickHouse не тормозит
Добрый день, подскажите плиз, по какой причине кх не использует всю доступную ему память? Выделено 400Gb (max_memory_usage_for_all_queries, max_memory_usage, max_memory_usage_for_user). В системе свободно более 500 (правда в buff/cache). Запрос съедает где-то 50gb и начинает слать (DB::Exception: Received from stat8:9000. DB::ErrnoException. DB::ErrnoException: Allocator: Cannot malloc 1.00 MiB., errno: 12, strerror: Cannot allocate memory: (avg_value_size_hint = 69.66058823529411, avg_chars_size = 73.99270588235294, limit = 8192): (while reading column uagent): (while reading from part /var/lib/clickhouse/data/ladnl/dnl_log_local/3287_0_2873_8_16121/ from mark 55681 with max_rows_to_read = 8192):
Происходит это только на одной ноде из 8, конфики везде одинаковые, железо практически тоже.  
Версия 19.13.6.51
источник

D

Dj in ClickHouse не тормозит
vladimir kolobaev
запрос вида:
SELECT toStartOfMinute(event_datetime) datetime,
      count()
FROM nginx.access_log
PREWHERE event_date BETWEEN toDate(toStartOfMinute(now()-3600)) AND toDate(toStartOfMinute(now())-1)
AND server_name = 'www.hello-world.ru'
WHERE event_datetime BETWEEN toStartOfMinute(now()-3600) AND toStartOfMinute(now())-1
GROUP BY datetime
ORDER BY datetime
С сетью все ок? Попробуйте с шарда1 кинуть по ремоут в шард2.
источник

ДН

Денис Никульников... in ClickHouse не тормозит
Вем привет! Есть настроенная интеграция kafka и clickhousr/ При подачи нагрузки 150-200Mbit\s в логах clickhouse появляются ошибки```2020.06.10 12:12:44.285160 [ 16839 ] {} <Error> void DB::StorageKafka::threadFunc(): std::exception. Code: 1001, type: cppkafka::HandleException, e.what() = Local: Timed out, Stack trace (when copying this message, always include the lines below):

0. cppkafka::HandleException::HandleException(cppkafka::Error) @ 0x1031512e in /usr/bin/clickhouse
1. ? @ 0x1031d1d2 in /usr/bin/clickhouse
2. cppkafka::Consumer::get_offsets_committed(std::__1::vector<cppkafka::TopicPartition, std::__1::allocator<cppkafka::TopicPartition> > const&) const @ 0x10321eb1 in /usr/bin/clickhou
se
3. DB::ReadBufferFromKafkaConsumer::commit() @ 0xd86d927 in /usr/bin/clickhouse
4. DB::KafkaBlockInputStream::commit() @ 0xd864619 in /usr/bin/clickhouse
5. DB::StorageKafka::streamToViews() @ 0xd853e80 in /usr/bin/clickhouse
6. DB::StorageKafka::threadFunc() @ 0xd854920 in /usr/bin/clickhouse
7. DB::BackgroundSchedulePoolTaskInfo::execute() @ 0xd00d455 in /usr/bin/clickhouse
8. DB::BackgroundSchedulePool::threadFunction() @ 0xd00da72 in /usr/bin/clickhouse
9. ? @ 0xd00dbb0 in /usr/bin/clickhouse
10. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x8f667eb in /usr/bin/clickhouse
11. ? @ 0x8f64c33 in /usr/bin/clickhouse
12. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
13. clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.3.8.53 (official build))```
Есть мысли с чем это может быть связано?
источник

KB

Konstantin Blokhin in ClickHouse не тормозит
Добрый день. Долго гуглил, но не нашел ответа по zookeeper. Может кто-нибудь сказать про конфигурацию серверов под него, а именно сколько место нужно на hdd с вот такими настройками:
tickTime=2000
dataDir=/data/zookeeper
clientPort=2181
maxClientCnxns=2000
initLimit=30000
syncLimit=10
maxSessionTimeout=60000000
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
preAllocSize=131072
snapCount=3000000
?
источник