Size: a a a

ClickHouse не тормозит

2020 August 17

ML

Mimik Lamerger in ClickHouse не тормозит
Асхат Шаяхметович
Вроде нашел. Это через ALTER TABLE?
угу
источник

S

Shazo in ClickHouse не тормозит
Mimik Lamerger
вполне неплохо отрабатывает и на больших таблицах, в целом порой update оч нужен чтобы не плодить зоопарк из быд, как у меня сейчас монга, касандра и кх на одном серваке... а так хочется чтобы все в кх было
Смотря что вы имеете ввиду под большими таблицами, по факту он перезаписывает полностью парты. Если у вас парт по сотням гигабайт, то часто их  полностью переписывать странная идея
источник

S

Shazo in ClickHouse не тормозит
Зоопрак зоопарком, но различные инстррументы и БД используются в различных ситуациях
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Смотря что вы имеете ввиду под большими таблицами, по факту он перезаписывает полностью парты. Если у вас парт по сотням гигабайт, то часто их  полностью переписывать странная идея
смотря как апдейтить и что, мне надо обновить одну строку к примеру или изменить uuid у записи одной из тысяч, в целом через alter update это работает, но я пока побаиваюсь сие использовать поэтому касандра еще живет у меня...
источник

D

Dj in ClickHouse не тормозит
Anvar Khamidov
Нет, на данный момент записываю только его имя и дату
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Зоопрак зоопарком, но различные инстррументы и БД используются в различных ситуациях
и только мариадб можно гнуть как хочешь =) а при правильной настройке будет не хуже nosql =)
источник

S

Shazo in ClickHouse не тормозит
Mimik Lamerger
смотря как апдейтить и что, мне надо обновить одну строку к примеру или изменить uuid у записи одной из тысяч, в целом через alter update это работает, но я пока побаиваюсь сие использовать поэтому касандра еще живет у меня...
Не понял про смотря как апдейтить. Если вам в КХ нужно будет обновить одну строчку, то перезапишется весь парт при апдейте.
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Не понял про смотря как апдейтить. Если вам в КХ нужно будет обновить одну строчку, то перезапишется весь парт при апдейте.
ну парты то можно разные делать, по дню, неделе, году, месяцу, развен ет?
источник

S

Shazo in ClickHouse не тормозит
Mimik Lamerger
и только мариадб можно гнуть как хочешь =) а при правильной настройке будет не хуже nosql =)
Если там всё так иделаьно, зачем вам КХ?
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Если там всё так иделаьно, зачем вам КХ?
если бы там было все идеально =)) никто не говорит об идеальности
источник

S

Shazo in ClickHouse не тормозит
Mimik Lamerger
ну парты то можно разные делать, по дню, неделе, году, месяцу, развен ет?
Да, но слишком мелкие парты будут негативно сказываться. Тогда вы опять же забивать будете микроскопом
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Да, но слишком мелкие парты будут негативно сказываться. Тогда вы опять же забивать будете микроскопом
согласен, оэтому и не применяю там это, жду когда там все-же появится движок для таких данных, может однажды он будет =)
источник

S

Shazo in ClickHouse не тормозит
Проще использовать альтернативную логику в запросах или движки в стиле колапсинг или реплейсинг
источник

K

Kos in ClickHouse не тормозит
источник

АШ

Асхат Шаяхметович... in ClickHouse не тормозит
О, раз заговорили про партиции. Кто-нибудь сталкивался с проблемой дублирования записи из разных парт-ов при выборке через FINAL?
Вводная.  В КХ есть таблица на 100млн записей (10ГБ). Партицирование происходит по полю "дата создания".
Проблема. С недавнего времени у пользователей появилась возможность редактирования этого поля. Теперь при построении статистики одна и та же запись фигурирует в разных датах, потому что при селекте из FINAL данные мержатся внутри парт.
Если строить парты по другому полю, которое никогда не меняется, то выборка через FINAL происходит очень медленно когда этого поля нет в WHERE.

Я использую ReplaceMergeTree и читал про CollapseMergeTree, но не хотелось бы переходить на него - слишком много запросов пришлось бы переделывать. Может есть возможность решить это через подзапросы или каким-нибудь другим движком?
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Проще использовать альтернативную логику в запросах или движки в стиле колапсинг или реплейсинг
когда у тебя есть таблица с пользователями или объектами где каждый день меняют, редактируют, удаляют альтернативные поля типа комментариев, телефона, мыла, адреса, это все равно не подойдет. а если удалять одну запись из парта, парт все равно может быть перечитан (хотя я не изучал этот вопрос при удалении)
источник

S

Shazo in ClickHouse не тормозит
Не понял вашу мысль про перечитан. А телефон  мыло и адрес больше как словари возможно использовать.
источник

ML

Mimik Lamerger in ClickHouse не тормозит
о прикольно, это я еще не тестировал
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Shazo
Не понял вашу мысль про перечитан. А телефон  мыло и адрес больше как словари возможно использовать.
ну что произойдет если в партиции на 100 - 200 тыщ записей сделать update одной?
источник

S

Shazo in ClickHouse не тормозит
Mimik Lamerger
ну что произойдет если в партиции на 100 - 200 тыщ записей сделать update одной?
создастся новый парт, куда запишутся данные без этой записи
источник