Size: a a a

ClickHouse не тормозит

2020 September 22

ВГ

Владимир Голубев... in ClickHouse не тормозит
Т.е. в данном случае я ожидаю приведение к float скорее, чем подмену функции (а если функция подменяется - неплохо бы это описать в документации)
источник

MG

Maxim Golubev in ClickHouse не тормозит
да - думаю легче было бы описать чем баг - вот в чем мой поинт
источник

ВГ

Владимир Голубев... in ClickHouse не тормозит
Я обошёл проблему приведением decimal к float там где потенциально ожидается ноль и я хочу получить inf. Но я был немного обескуражен тем, что это не описано в документации.
источник

MG

Maxim Golubev in ClickHouse не тормозит
у нас тоже закралось это в коде - когда ОРМ генерил запрос такой автоматом - долго разбирались
источник

S

Sergey in ClickHouse не тормозит
Alexey Milovidov
Повреждение данных на диске после записи (bit rot) или в момент записи (RAID write hole) приводит к потере части данных на одной из реплик. Если реплик более одной, то потеря записанных данных имеет очень небольшую вероятность. Впрочем, если данные реплицированы в разных датацентрах, то включение fsync уже даёт не так много преимуществ.
Подскажите пожалуйста, в случае использования репликации, в каких кейсах возможна потеря данных? (одновременный выход из строя всех реплик или еще в каких-то случаях)
источник

YY

Yury Yurochko in ClickHouse не тормозит
Привет!


(SelectExecutor): Selected 24 parts by date, 24 parts by key, 2233 marks to read from 2167 ranges
(SelectExecutor): Reading approx. 571648 rows with 4 streams


1) у меня в запросе нет времени, в order by нет времени - как интерпретировать selected 24 parts by date - как он это сделал?
2) можно ли рулить количеством streams, или это где-то внутри делается и в зависимости от выбирается это число?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Yury Yurochko
Привет!


(SelectExecutor): Selected 24 parts by date, 24 parts by key, 2233 marks to read from 2167 ranges
(SelectExecutor): Reading approx. 571648 rows with 4 streams


1) у меня в запросе нет времени, в order by нет времени - как интерпретировать selected 24 parts by date - как он это сделал?
2) можно ли рулить количеством streams, или это где-то внутри делается и в зависимости от выбирается это число?
А сколько партов всего в таблице? Возможно это значит что был фулскан всех партов. А если партиционирование по дате - потому и пишет про дату
источник

YY

Yury Yurochko in ClickHouse не тормозит
Дмитрий Бережнов
А сколько партов всего в таблице? Возможно это значит что был фулскан всех партов. А если партиционирование по дате - потому и пишет про дату
Партиционирования нет, активных партов 20 с чем-то, неактивных много.
Я так понимаю, что число selected parts=число активных партов, что странно, у меня order by Kek, запрос делается с WHERE Kek IN, в моем мире он должен был в индексе найти, какой парт взять и потрогать только его (ну может парочку, из-за разреженности индекса), нет?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Yury Yurochko
Партиционирования нет, активных партов 20 с чем-то, неактивных много.
Я так понимаю, что число selected parts=число активных партов, что странно, у меня order by Kek, запрос делается с WHERE Kek IN, в моем мире он должен был в индексе найти, какой парт взять и потрогать только его (ну может парочку, из-за разреженности индекса), нет?
Так индекс в КХ разреженный, база может только обросить явно не нужные парты, и уже фулскан делать в нужных. Скиньте полный DDL таблицы. У вас походу даже с индексом - полное сканирование таблицы
источник

A

Alex in ClickHouse не тормозит
Добрый день! Не работает репликация или может, я неправильно понимаю как она работает. В конфиге настроено  <shard>
     <replica>
       <host>ip1</host>
       <port>9000</port>
     </replica>
     <replica>
       <host>ip2</host>
       <port>9000</port>
     </replica>      
   </shard>
Создаю таблицу на машине ip1:
CREATE TABLE rep
(
   id Int64,
   name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/rep', '{replica}')
ORDER BY id
SETTINGS index_granularity = 8192;
Правильно понимаю, что на моей реплике ip2 должна создаться новая таблица rep? И я смогу делать insert/select из таблицы rep на любой машине
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
нет, не должна
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
доброго утра
источник

Н

Николай in ClickHouse не тормозит
Иван
Это просто локальная таблица, смотрите комментарий выше. Реплицированная таблица будет иметь движок ReplicatedMergeTree... + Пару опций от репликации. А сейчас у вас просто создано 2 локальных таблицы с одинаковым именем
Иван, приветствую. Создал таблицу с други движком: вот код: create table s1.t25 on cluster c1
(
EventDate DateTime,
CounterID UInt32,
UserID UInt32,
var UInt16
) ENGINE = ReplicatedReplacedMergeTree('/clickhouse/tables/{layer}-{shard}/t25', '{replica}, ver)
Partition by toYYYYDD(EventDate)
Order by (CounterID, EventDate, intHash(UserId))
Таблица создается на всех узлах кластера.
источник

Н

Николай in ClickHouse не тормозит
Данные не реплицируются
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
на каждой реплике выполняется create table с Replicated* движком с одинаковым путем в зукипере, в вашем случае "/clickhouse/tables/{shard}/rep", и разным вторым параметром "реплика" в вашем случае используется макрос '{replica}'
либо вы можете кликхаус попросить выполнить этот запрос на всех репликах использовав директиву ON CLUSTER
источник

Н

Николай in ClickHouse не тормозит
Речь не о том, код рабочий, без он кластер надо создавать на каждой ноде
источник

Н

Николай in ClickHouse не тормозит
Макроподстановки корректные
источник

Н

Николай in ClickHouse не тормозит
Layer и шард одинаковые, replica отличается
источник

Н

Николай in ClickHouse не тормозит
Но вставка на одном серваке не приводит к появлению данных на другом
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
вообще вопрос начат с "правильно ли понимаю что должна появиться таблица"
ну да ладно
источник