Size: a a a

ClickHouse не тормозит

2021 March 15

s

ssv in ClickHouse не тормозит
Dmitry Titov
Ну и что?
в FixedString можно что угодно хранить
А топом через что парсить? Char?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Damien
Всем привет!
Столкнулся с проблемой: после перезагрузки Clickhouse при первом обращении к модели catboost через SELECT modelEvaluate - запрос зависает. После отмены запроса и повторного запуска запрос отрабатывает корректно. Очень похоже на issue трёхлетней давности https://github.com/ClickHouse/ClickHouse/issues/13832
Можете помочь, может кто-то сталкивался и фиксил?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
а эта опция по дефолту включена?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir Bunchuk
а эта опция по дефолту включена?
Да
источник

DT

Dmitry Titov in ClickHouse не тормозит
ssv
А топом через что парсить? Char?
Хм,
SELECT unhex(hex('\xO1\x02\x31'));?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Но лучше хранить тогда уже после преобразований, тк меньше байт будет
источник

DT

Dmitry Titov in ClickHouse не тормозит
Василий Аверьянов
Всем привет! Такой вопрос по удалению дубликатов из таблицы. Планировал такой алгоритм:

1) Скопировать distinct записи во временную таблицу
2) Удалить все дублирующиеся записи из оригинальой таблицы - ALTER .. DELETE ... GROUP BY id HAVING count() > 1  
3) Скопировать записи из временной таблицы обратно в оригинальную.

Но при ALTER .. DELETE WHERE id IN (select id from test GROUP BY id HAVING count() > 1) наткнулся на такое поведение, что кликхаус удаляет не все записи с одинаковым id. E.g. в таблице было 2 записи с id = 1, а после alter delete осталась 1. Поскольку это не ожидаемое поведение, решил обратится сюда за помощью! Спасибо!
в новых версиях есть OPTIMIZE DEDUPLICATE BY columns.

какой ORDER BY таблицы
источник

В

Всеволод in ClickHouse не тормозит
Добрый день, копирую на машине таблицу весом 4.5гб на эту же машину, 32гб оперативки, вылетает ошибка memory limits 28.16гб на 50%, какие настройки поменять можно? Может считывание и передачу по частям как нибудь настроить можно?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Всеволод
Добрый день, копирую на машине таблицу весом 4.5гб на эту же машину, 32гб оперативки, вылетает ошибка memory limits 28.16гб на 50%, какие настройки поменять можно? Может считывание и передачу по частям как нибудь настроить можно?
как ошибка точно выглядит
источник

В

Всеволод in ClickHouse не тормозит
источник

DT

Dmitry Titov in ClickHouse не тормозит
У вас другие запросы (total) используют оперативную память
источник

s

ssv in ClickHouse не тормозит
Dmitry Titov
Хм,
SELECT unhex(hex('\xO1\x02\x31'));?
Попробую, спасибо. Главное не напороться на срез после x00.)
источник

TG

Tagir Gumerov in ClickHouse не тормозит
Alexey Sokolov
С тестовым сервером проблемы, поэтому взял один из боевых слабонагруженных серверов (есть другие периодические записи\слияния), добавил таблицу с движком Kafka на 4 консьюмера, повесил на неё MV, включил поток примерно 15000 записей в секунду и смотрю top для процесса clickhouse-serv:
%MEM и VIRT - вообще не меняются,
%CPU - продолжает меняться в тех же диапазонах, что и до кафки,
RES - продолжает меняться в диапазоне +- 0.3g

Выходит, что поток в 15к записей в секунду движок Kafka читает вообще практически бесплатно или я не туда смотрю?
В моем сообщение ключевым моментом было то, что именно вы хотите замерить. Вы не ответили и ушли тестить:)
Таблица null?
источник

AB

Andrey Bychkov in ClickHouse не тормозит
Привет всем! В чем может быть проблема
в ReplacingMergeTree таблице order_by по ('id', 'timestamp', 'type’), но одна из двух записей с одинаковыми id и timestamp, но разными type удаляется..
источник

M

Mishanya in ClickHouse не тормозит
Здрасьте
Подскажите, где почитать можно в чем разница PK и ORDER BY ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mishanya
Здрасьте
Подскажите, где почитать можно в чем разница PK и ORDER BY ?
PK это часть ORDER BY которая поднимается в память и используется для фильтрации по индексу
источник

3

3ldar in ClickHouse не тормозит
Mishanya
Здрасьте
Подскажите, где почитать можно в чем разница PK и ORDER BY ?
источник

A

Alexey in ClickHouse не тормозит
Привет всем! Столкнулся с проблемой. Подключаюсь к rmq с помощью движка RabbitMQ к уже существующей очереди и читаю сообщения в формате JSONAsString, которые потом через MATERIALIZED VIEW парсятся и сохраняются в основную таблицу. При подключении к пустой очереди все новые сообщения без проблем сохраняются в основную таблицу, но если в очереди уже накопились сообщения, то при подключении забираются все, но сохраняется только последнее. Кто-нибудь сталкивался или знает в какую сторону копать?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexey
Привет всем! Столкнулся с проблемой. Подключаюсь к rmq с помощью движка RabbitMQ к уже существующей очереди и читаю сообщения в формате JSONAsString, которые потом через MATERIALIZED VIEW парсятся и сохраняются в основную таблицу. При подключении к пустой очереди все новые сообщения без проблем сохраняются в основную таблицу, но если в очереди уже накопились сообщения, то при подключении забираются все, но сохраняется только последнее. Кто-нибудь сталкивался или знает в какую сторону копать?
выглядит как бага, пишите на гитхаб
источник

ВС

Витя Сергеев... in ClickHouse не тормозит
добрый день, не смог найти похожего на свое поэтому пришел с вопросом:
Например есть таблица с историческими данными, на неё надо повесить материализованную вьюху, чтобы та подцепила данные из таблицы

Сама таблица весит 1.78 GiB в настройках стоит оганичение total 6ГБ, на запрос 3ГБ ограничение на группировку и сортировку (max_bytes_before_external...) по 300мб
В общем проблема в том, что запросы создания вьюхи с populate (или пустой с последущим insert) падают то на total памяти, то на query

Вариант увеличить ram отодвинул, т.к. количество данных будет расти и вопрос в другом.
Как создать вьюху на таблице которая превышает объем RAM?
источник