Size: a a a

ClickHouse не тормозит

2020 September 28

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Грубо говоря на такой конфигурации
<shard>
   <replica></replica>
  <replica></replica>
</shard>
ничего не понял...  какая конфигурация со сравнением? дайте обе?
источник

D

Dj in ClickHouse не тормозит
Pavel Nemirovsky
Добрый день,

Подскажите пожалуйста не могу понять что я не правильно делаю

У нас есть одна таблица которая replicated на 3-х серверах (идентичные копии) и есть таблица которая distributed которая смотрит на 3 эти сервера

Задачи получить Triple Read Gain, но я четко вижу что когда бежит запрос то читает clickhouse с одного сервера, а на двух других серверах ничего не происходит в этот момент, нет загрузки CPU, IO etc.

Что я упуская и по какому принципу вообще такой вид запрос может делать distributed computation of results ?

Заранее спасибо

Павел

# SCHEMA
CREATE TABLE fgi.articles_fts
(
   keyword String,
   internal_id String,
   publish_date DateTime('UTC')
)
ENGINE = Distributed('cluster', 'fgi', 'articles_fts_data', rand())

# EXPLAIN
explain select count(*) from fgi.articles_fts;

EXPLAIN
SELECT count(*)
FROM fgi.articles_fts

┌─explain─────────────────────────────────┐
│ ReadFromStorage (Read from Distributed) │
└─────────────────────────────────────────┘

1 rows in set. Elapsed: 0.012 sec.

# CONF
<yandex>
 <cluster>
   <cluster>
     <shard>
       <internal_replication>true</internal_replication>
       <replica>
         <host>1.internal</host>
         <port>9000</port>
       </replica>
       <replica>
         <host>2.internal</host>
         <port>9000</port>
       </replica>
       <replica>
         <host>3.internal</host>
         <port>9000</port>
       </replica>
     </shard>
   </cluster>
 </remote_servers>
</yandex>
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Ошибся, например конфигурация один шард 2 реплики:
<shard>
   <replica></replica>
  <replica></replica>
</shard>
И несколько шардов пусть будет без реплик
<shard>
   <replica></replica>
</shard>
<shard>
   <replica></replica>
</shard>
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Насколько я понимаю то distributed нормально будут работать только на второй конфигурации?
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Насколько я понимаю то distributed нормально будут работать только на второй конфигурации?
👆 в случае 1 будет  при семплировании и макс-параллел репликас (при правильном стечении обстоятельств конечно)

https://t.me/clickhouse_ru/184116
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Но все таки "штатный" вариант это скорее вторая схема?
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Насколько я понимаю то distributed нормально будут работать только на второй конфигурации?
т.е. будет по сути искусственное шардирование внутри реплики на базе семплинг ключа.
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Но все таки "штатный" вариант это скорее вторая схема?
ну смотрите, вам надо данные держать в трех копиях (потому что страшно). но хотите использовать на запросах все ноды без простоев

тут либо раунд робин между запросами (но один запрос будет тормозить), либо через параллел-репликас
источник

D

Dj in ClickHouse не тормозит
просто на семплинг ключ есть тоже требования, поэтому все не так просто конечно... ну и не все запросы ускорятся. но лучше чем ничего...
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Dj
ну смотрите, вам надо данные держать в трех копиях (потому что страшно). но хотите использовать на запросах все ноды без простоев

тут либо раунд робин между запросами (но один запрос будет тормозить), либо через параллел-репликас
Я вас понял, вариант с несколькими шардами без реплик внутри это скорее для примера, на проде действительно так смело конфигурировать.
Спасибо за консультацию, как то упускал такой вариант решения, почитаю более подробно.
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Я вас понял, вариант с несколькими шардами без реплик внутри это скорее для примера, на проде действительно так смело конфигурировать.
Спасибо за консультацию, как то упускал такой вариант решения, почитаю более подробно.
да, польза при конкретных запросах, вреда нет (пока что не наблюдалось) кроме удлинения ключа
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Я вас понял, вариант с несколькими шардами без реплик внутри это скорее для примера, на проде действительно так смело конфигурировать.
Спасибо за консультацию, как то упускал такой вариант решения, почитаю более подробно.
<shard>
   <replica></replica>
   <replica></replica>
</shard>
<shard>
   <replica></replica>
   <replica></replica>
</shard>


т.е. даже тут не-вредно
источник

AB

Andrey Bobelev in ClickHouse не тормозит
Привет, в версии 20.6 очень много таблиц с is_leader: 1 на обоих репликах. Репликаиця при этом работает.

Но на некоторых таблицах не могу удалить колонку, пишет про несоответсвие данных в зк и локальных метаданных. Рестарты не помогают.
источник

AB

Andrey Bobelev in ClickHouse не тормозит
column_version у всех -1
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Я вас понял, вариант с несколькими шардами без реплик внутри это скорее для примера, на проде действительно так смело конфигурировать.
Спасибо за консультацию, как то упускал такой вариант решения, почитаю более подробно.
https://t.me/clickhouse_ru/121458
я тут почитал, и наверно я слишком оптимистичен был.  в 90% случаях будет больше тормозить, да и запрос через дистрибютед дает тормоз даже при prefer_localhost_replica...
источник

OG

Oleg Galako in ClickHouse не тормозит
привет, не могу добиться, чтобы http долгий запрос (insert из одной таблицы в другую) не дисконнектился сервером после 5 минут, пробовал send_timeout=1800, пробовал wait_end_of_query=1, не помогло
http header-ы с прогрессом оставляю как последний вариант, т.к. у меня http client их плохо переносит

не подскажете, как поднять таймаут?
источник

ДЛ

Дмитрий Лукьянов... in ClickHouse не тормозит
Народе, всем привет,
Подскажите, а с чего начать изучать Clickhouse, если надо в короткие сроки вкатиться в тему?
Никак не могу найти ни одного курса на тему. Есть что-то, кроме доки официальной, по нему?
источник

G

Gleb in ClickHouse не тормозит
Практика
источник

ДЛ

Дмитрий Лукьянов... in ClickHouse не тормозит
Gleb
Практика
Ну, как к этой практике подойти, если ничего не знаешь? С чего начать?
источник

G

Gleb in ClickHouse не тормозит
Дока
источник