Size: a a a

ClickHouse не тормозит

2020 July 27

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vitalij
добрый день, может кто-нибудь подскажет почему в зоокеепере КХ держит много watch'ей для одной таблицы (много это чаще всего около 15000).
Watch'и на путь /clickhouse/tables/cluster/1/table_repl/replicas/1/queue/queue-0000572784 (queueid и id реплики разные), хотя в зоокеепере по такому пути ничего нет (queue каталог вообще пуст)
А проблема отсюда какая?
источник

НМ

Никита Макушников... in ClickHouse не тормозит
Ок, спасибо! Не заметил этот issue изначально
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
1.как бы нормальная.
2.MV
3.я делаю обычно вторую таблицу лишь указателем на пк первой (инверсный индекс) и там не все 400 полей, а лишь 3

С другой стороны кх не для точечных запросов и вас не должен так волновать ключ
а есть примеры для 3?
или имелось ввиду в основной asc сортировка во второй desc и все?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
всем привет. может кто-нибудь знает на сколько сильно может страдат производительность КХ на ядрах 2009 года
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
сейчас пришел запрос в КХ
SELECT object_content, object_type 
from objects
WHERE pubDate between '2018-07-01' and '2020-07-09'
group by object_content, object_type
having uniqMerge(c) > 600
limit 100
FORMAT JSON
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
всем привет. может кто-нибудь знает на сколько сильно может страдат производительность КХ на ядрах 2009 года
Нисколько
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
может тогда запросы надо оптимизировать
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
и вот такой еще  
SELECT distinct object_content, object_type
from objects
WHERE pubDate between '2018-07-01' and '2020-07-09'
FORMAT TabSeparatedWithNamesAndTypes
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
а есть примеры для 3?
или имелось ввиду в основной asc сортировка во второй desc и все?
ну а вообще вам зачем таблица в другой сортировке?
источник

D

Dj in ClickHouse не тормозит
нифига себе фича, вот спасибо, что только не придумают )
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну а вообще вам зачем таблица в другой сортировке?
Много различных фронтовых фильтров, которые в рамках одной таблицы будут работать крайне хреново из-за отсутствия индексов на полях
С другой стороны добавление INDEX в таблицы сильно режет скорость вставки, на столько сильно что эффективнее продублировать часть данных с нужным ключем в отдельной таблице
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
Много различных фронтовых фильтров, которые в рамках одной таблицы будут работать крайне хреново из-за отсутствия индексов на полях
С другой стороны добавление INDEX в таблицы сильно режет скорость вставки, на столько сильно что эффективнее продублировать часть данных с нужным ключем в отдельной таблице
Класс. Я ничего не понял.
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Класс. Я ничего не понял.
🙂
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
тогда сейчас пример организую 🙂
источник

D

Dj in ClickHouse не тормозит
Dmitry Koreckiy
Много различных фронтовых фильтров, которые в рамках одной таблицы будут работать крайне хреново из-за отсутствия индексов на полях
С другой стороны добавление INDEX в таблицы сильно режет скорость вставки, на столько сильно что эффективнее продублировать часть данных с нужным ключем в отдельной таблице
если селективити запросов низкий, работать с prewhere будут ок...
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
@den_crane

Условная таблица.
Поиск по любой колонке, asc/desc сортировки по любому полю

CREATE TABLE test_table (
 `childId` LowCardinality(String),
 `parentId` LowCardinality(String),
 `views` Int64,
 `clicks` Int64,
 `startedAt` DateTime,
 `finishedAt` DateTime,
 `isLive` UInt8,
 `isAdult` UInt8,
 `language` String
) ENGINE = ReplacingMergeTree() PARTITION BY substring(parentId, 1, 2)
ORDER BY
 (childId, parentId) SETTINGS index_granularity = 512
источник

BB

Bral Bral in ClickHouse не тормозит
Наверно имелось ввиду добавление skipping indices без использования первичного ключа в поиске
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
хм, у меня просто есть запросы которые КХ в 100% грузят и к нему уже не сделать другие запросы. Кластер состоить из 4 ВМ на VMWare с 16 ядер, I/O без нагрузки
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Надо читать лог с начала. Возможно был ребут и парт потерялся. Смотреть в system.replication_queue текщуее состояние
В логах реплик сейчас появились инсерты с данными за 25 и 26 число. Проверили селектом, за эти даты растут данные. Можете пояснить как работает репликация? Я считал, что данные попадают на мастер реплику, после чего происходит копирование на slave реплики асинхронно в фоновом режиме. Странно то, что select не находит новые данные, за сегодняшнее число, ни на одной из реплик.
источник

v

vitakor in ClickHouse не тормозит
подскажите, как скомпилировать КХ с использованием MySQL ?
select * from system.build_options
возвращает USE_MYSQL пустым
источник