Size: a a a

ClickHouse не тормозит

2020 September 28

DL

Dmitry Lukovkin in ClickHouse не тормозит
Вернее на одном 04 01 на другом 03 01
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Lukovkin
Вернее на одном 04 01 на другом 03 01
Так это шарды разные
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Наоборот должно быть шард один реплики разные
источник

DL

Dmitry Lukovkin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Наоборот должно быть шард один реплики разные
Хм. Значит мне снова таблицу создать? Или можно ее поменять как то? Простите за глупые вопросы. Только начал изучать CH
источник

DL

Dmitry Lukovkin in ClickHouse не тормозит
Пересоздал таблицу. Вставка прошла. Спасибо огромное!
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Подскажите плз, что означает такая ошибка?
<Error> SystemLog (system.query_thread_log): Queue is full for system log 'DB::QueryThreadLog'
источник

S

Slach in ClickHouse не тормозит
Alexander Ryzhenko
Подскажите плз, что означает такая ошибка?
<Error> SystemLog (system.query_thread_log): Queue is full for system log 'DB::QueryThreadLog'
не может в лог записать в системный
место на диске
настройки syslog
clickhouse в докере или обычный сервер?
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Slach
не может в лог записать в системный
место на диске
настройки syslog
clickhouse в докере или обычный сервер?
обычный
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Slach
не может в лог записать в системный
место на диске
настройки syslog
clickhouse в докере или обычный сервер?
или так много ивентов для записи в лог, что он захлебывается?
источник

S

Slach in ClickHouse не тормозит
Alexander Ryzhenko
или так много ивентов для записи в лог, что он захлебывается?
а сколько у вас Query Per Seconds?
источник

S

Slach in ClickHouse не тормозит
Alexander Ryzhenko
Подскажите плз, что означает такая ошибка?
<Error> SystemLog (system.query_thread_log): Queue is full for system log 'DB::QueryThreadLog'
так то это MergeTree таблица обычная
https://clickhouse.tech/docs/en/operations/system-tables/query_thread_log/
может флашнуться на диск не успела
диски у вас сильно загружены?
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Slach
а сколько у вас Query Per Seconds?
20-30. В основном инсерты
источник

PN

Pavel Nemirovsky in ClickHouse не тормозит
Добрый день,

Подскажите пожалуйста не могу понять что я не правильно делаю

У нас есть одна таблица которая replicated на 3-х серверах (идентичные копии) и есть таблица которая distributed которая смотрит на 3 эти сервера

Задачи получить Triple Read Gain, но я четко вижу что когда бежит запрос то читает clickhouse с одного сервера, а на двух других серверах ничего не происходит в этот момент, нет загрузки CPU, IO etc.

Что я упуская и по какому принципу вообще такой вид запрос может делать distributed computation of results ?

Заранее спасибо

Павел

# SCHEMA
CREATE TABLE fgi.articles_fts
(
   keyword String,
   internal_id String,
   publish_date DateTime('UTC')
)
ENGINE = Distributed('cluster', 'fgi', 'articles_fts_data', rand())

# EXPLAIN
explain select count(*) from fgi.articles_fts;

EXPLAIN
SELECT count(*)
FROM fgi.articles_fts

┌─explain─────────────────────────────────┐
│ ReadFromStorage (Read from Distributed) │
└─────────────────────────────────────────┘

1 rows in set. Elapsed: 0.012 sec.

# CONF
<yandex>
 <cluster>
   <cluster>
     <shard>
       <internal_replication>true</internal_replication>
       <replica>
         <host>1.internal</host>
         <port>9000</port>
       </replica>
       <replica>
         <host>2.internal</host>
         <port>9000</port>
       </replica>
       <replica>
         <host>3.internal</host>
         <port>9000</port>
       </replica>
     </shard>
   </cluster>
 </remote_servers>
</yandex>
источник

S

Slach in ClickHouse не тормозит
Alexander Ryzhenko
20-30. В основном инсерты
iostat -x 1
какую утилизацию полосы показывает?
источник

GN

Grigory Narizhnyy in ClickHouse не тормозит
2020.09.28 13:44:45.496187 [ 164 ] {} <Error> schema.tablename (ReplicatedMergeTreePartCheckThread): No replica has part covering all_294_294_0 and a merge is impossible: we didn't find smaller parts with either the same min block or the same max block.
2020.09.28 13:44:45.497060 [ 164 ] {} <Error> schema.tablename (ReplicatedMergeTreePartCheckThread): Part all_294_294_0 is lost forever.
источник

GN

Grigory Narizhnyy in ClickHouse не тормозит
Добрый день, подскажите что это за ошибка такая и как лечить
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Pavel Nemirovsky
Добрый день,

Подскажите пожалуйста не могу понять что я не правильно делаю

У нас есть одна таблица которая replicated на 3-х серверах (идентичные копии) и есть таблица которая distributed которая смотрит на 3 эти сервера

Задачи получить Triple Read Gain, но я четко вижу что когда бежит запрос то читает clickhouse с одного сервера, а на двух других серверах ничего не происходит в этот момент, нет загрузки CPU, IO etc.

Что я упуская и по какому принципу вообще такой вид запрос может делать distributed computation of results ?

Заранее спасибо

Павел

# SCHEMA
CREATE TABLE fgi.articles_fts
(
   keyword String,
   internal_id String,
   publish_date DateTime('UTC')
)
ENGINE = Distributed('cluster', 'fgi', 'articles_fts_data', rand())

# EXPLAIN
explain select count(*) from fgi.articles_fts;

EXPLAIN
SELECT count(*)
FROM fgi.articles_fts

┌─explain─────────────────────────────────┐
│ ReadFromStorage (Read from Distributed) │
└─────────────────────────────────────────┘

1 rows in set. Elapsed: 0.012 sec.

# CONF
<yandex>
 <cluster>
   <cluster>
     <shard>
       <internal_replication>true</internal_replication>
       <replica>
         <host>1.internal</host>
         <port>9000</port>
       </replica>
       <replica>
         <host>2.internal</host>
         <port>9000</port>
       </replica>
       <replica>
         <host>3.internal</host>
         <port>9000</port>
       </replica>
     </shard>
   </cluster>
 </remote_servers>
</yandex>
Я могу ошибаться но разве distributed таблицы работают с replicated? Вроде как они предназначены для работы с шардированными таблицами.
И как мне тут недавно объясняли на обычном селекте даже с шардированными таблицами прироста скорости не будет.
источник

D

Dj in ClickHouse не тормозит
Сергей Фесенко
Я могу ошибаться но разве distributed таблицы работают с replicated? Вроде как они предназначены для работы с шардированными таблицами.
И как мне тут недавно объясняли на обычном селекте даже с шардированными таблицами прироста скорости не будет.
replicated могут быть и не быть шардированными. смотря с какой стороны смотреть
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Dj
replicated могут быть и не быть шардированными. смотря с какой стороны смотреть
Это я понимаю что они могут быть не шардированными, просто тут вопрос, а разве distributed будет работать быстрее просто на нешардированных replicated таблицах?
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Грубо говоря на такой конфигурации
<shard>
   <replica></replica>
  <replica></replica>
</shard>
источник