AB
Code: 252, e.displayText() = DB::Exception: Too many parts (2611). Merges are processing significantly slower than inserts. (version 20.5.2.7 (official build))
или посмотрите сколько мерджей у вас там идет
Size: a a a
2020 August 17
АА
вставляйте кусками крупнее
на текущий момент 1000 в одну минуту
D
на текущий момент 1000 в одну минуту
не чаще чем раз в секунду лучше,
либо увеличьте background pool size
или мерджи где то зависли из-за блокирующей мутации
либо увеличьте background pool size
или мерджи где то зависли из-за блокирующей мутации
AB
на текущий момент 1000 в одну минуту
а Partition By Order By какой у вас?
AB
не чаще чем раз в секунду лучше,
либо увеличьте background pool size
или мерджи где то зависли из-за блокирующей мутации
либо увеличьте background pool size
или мерджи где то зависли из-за блокирующей мутации
как я понял 1 раз в минуту по 1000 строк
D
как я понял 1 раз в минуту по 1000 строк
system.parts все скажет тогда
АА
@dj_mixer и @beglaryanartur посмотрю как решу другую задачу, спасибо вам
O
Привет всем! Есть ячейка с текстом , с эмозди и числами. Например: такое содержание ячейки {[эмозди] текст текст [эмозди] число}
Хочу извлечь только текст. Подскажите как это сделать. Строк очень много, в каждой ячейке эмозди уникальные
Хочу извлечь только текст. Подскажите как это сделать. Строк очень много, в каждой ячейке эмозди уникальные
D
Orlan
Привет всем! Есть ячейка с текстом , с эмозди и числами. Например: такое содержание ячейки {[эмозди] текст текст [эмозди] число}
Хочу извлечь только текст. Подскажите как это сделать. Строк очень много, в каждой ячейке эмозди уникальные
Хочу извлечь только текст. Подскажите как это сделать. Строк очень много, в каждой ячейке эмозди уникальные
если числа не нужны, alphaTokens
https://clickhouse.tech/docs/ru/sql-reference/functions/splitting-merging-functions/#alphatokenss
https://clickhouse.tech/docs/ru/sql-reference/functions/splitting-merging-functions/#alphatokenss
D
Orlan
Привет всем! Есть ячейка с текстом , с эмозди и числами. Например: такое содержание ячейки {[эмозди] текст текст [эмозди] число}
Хочу извлечь только текст. Подскажите как это сделать. Строк очень много, в каждой ячейке эмозди уникальные
Хочу извлечь только текст. Подскажите как это сделать. Строк очень много, в каждой ячейке эмозди уникальные
SELECT alphaTokens('abc🙂😂a1abc');
-===
['abc','a','abc']O
SELECT alphaTokens('abc🙂😂a1abc');
-===
['abc','a','abc']спасибо большое)
K
статья писалась когда еще не было alter delete
https://clickhouse.tech/docs/en/sql-reference/statements/alter/delete/
https://clickhouse.tech/docs/en/sql-reference/statements/alter/update/
вы вот это имеете ввиду или что то другое?
неужели после этого надобность в движках ReplacingMergeTree и CollapsingMergeTree отпала?
и что тяжелее для субд будет, проапдейтить через ALTER TABLE UPDATE
или использование этих движков?
https://clickhouse.tech/docs/en/sql-reference/statements/alter/update/
вы вот это имеете ввиду или что то другое?
неужели после этого надобность в движках ReplacingMergeTree и CollapsingMergeTree отпала?
и что тяжелее для субд будет, проапдейтить через ALTER TABLE UPDATE
или использование этих движков?
ML
Kos
https://clickhouse.tech/docs/en/sql-reference/statements/alter/delete/
https://clickhouse.tech/docs/en/sql-reference/statements/alter/update/
вы вот это имеете ввиду или что то другое?
неужели после этого надобность в движках ReplacingMergeTree и CollapsingMergeTree отпала?
и что тяжелее для субд будет, проапдейтить через ALTER TABLE UPDATE
или использование этих движков?
https://clickhouse.tech/docs/en/sql-reference/statements/alter/update/
вы вот это имеете ввиду или что то другое?
неужели после этого надобность в движках ReplacingMergeTree и CollapsingMergeTree отпала?
и что тяжелее для субд будет, проапдейтить через ALTER TABLE UPDATE
или использование этих движков?
Ну как мы тут выше обсудили, проблема в том, что при update будет обновляться весь партишен и если он большой - это накладные расходы на иопсы и память, что скажется на скорости, более компетентные люди меня поправят - надеюсь =)
K
так вот я и хочу выяснить у компетентных людей, что лучше делать, если возникнет нужда обновлять данные.
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
AT
движки же придумали неспроста
A
всем привет, приложение пишет в два КХ разных версий 20.5.4.40 и 19.3.5, настройки одинаковые, но в новой версии КХ system.query_log есть лог запросы, а в старой версии почему-то нет, хотя когда в старой версии подключаюсь клиентом, делаю запрос, ставлю
set log_queries=1 проверяю еще раз запрос и в system.query_log вижу свой запрос, но почему-то от приложения в старом КХ нет ничегоML
Kos
так вот я и хочу выяснить у компетентных людей, что лучше делать, если возникнет нужда обновлять данные.
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
если это один апдейт в год, то думаю можно и альтером, а если регулярно по тысяче в день, то лучше движки которые под это были придуманы
D
Kos
так вот я и хочу выяснить у компетентных людей, что лучше делать, если возникнет нужда обновлять данные.
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
1 не обновлять или не использовать КХ
2 collapsing/replacing/aggregatingMT
3 insert-select в новую таблицу (так хоть старые данные будут целыми) или добавлять колонку.
4. отрицание
5. гнев
6. торг
7. депрессия
8. принятие
9. mutations (ALTER TABLE UPDATE/DELETE)
10. увольнение
короче если это будет частью автоматической логики - лучше не надо.
если это делается руками - можно
гарантий на мутации никаких.
при отмене получаете частично битые данные.
2 collapsing/replacing/aggregatingMT
3 insert-select в новую таблицу (так хоть старые данные будут целыми) или добавлять колонку.
4. отрицание
5. гнев
6. торг
7. депрессия
8. принятие
9. mutations (ALTER TABLE UPDATE/DELETE)
10. увольнение
короче если это будет частью автоматической логики - лучше не надо.
если это делается руками - можно
гарантий на мутации никаких.
при отмене получаете частично битые данные.
VB
Kos
так вот я и хочу выяснить у компетентных людей, что лучше делать, если возникнет нужда обновлять данные.
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
все сильно зависит от кейсов применения
VB
Kos
так вот я и хочу выяснить у компетентных людей, что лучше делать, если возникнет нужда обновлять данные.
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
использовать ALTER TABLE UPDATE\DELETE или движки ReplacingMergeTree , CollapsingMergeTree .
с КХ работать только только начинаю...
Операции ALTER UPDATE в КХ пока что нет. Если не ошибаюсь.
Если нужно что-то удалить/перезаписать в частных случаях и это не затруднительно делать руками — то merge tree хватит.
Если данные нужно систематически обновлять, то конечно нужно использовать движки.
Если нужно что-то удалить/перезаписать в частных случаях и это не затруднительно делать руками — то merge tree хватит.
Если данные нужно систематически обновлять, то конечно нужно использовать движки.