Телеграмм чат группы clickhouse

2020 July 23

D

Ну можно инсерт селект вместо фриз атач

DC

Denny Crane (I don't... in ClickHouse не тормозит

причем тут ttl , там можно
ALTER TABLE hits MOVE PARTITION '2019-09-01' TO DISK 'fast_ssd'

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-multiple-volumes

источник

07:01пожаловаться #2

AN

Alexandr Novikov in ClickHouse не тормозит

может немного не понятно описал.
мне нужно полностью все перенести на другой раздел и забыть вообще про старый раздел, он должен быть удален.

источник

07:16пожаловаться #3

SL

Sergey Lossev in ClickHouse не тормозит

Стесняюсь спросить - а не фигню ли я здесь пишу?

Мне нужно, чтобы файлы в таблице были выстроены определённом порядке: 'NV' - всегда всплывали наверх, а затем уж всё остальное (в частности 'Online'). Одновременно с этим, хочу использовать и второе поле сортировки - дату продажи (не спрашивайте, зачем)

Пытаюсь указать обратный порядок сортировки в секции ORDER BY, но создавать такое не хочет, ругается:

CREATE TABLE db.sale (
  -- ...
    filetype  String,
    sale_date Date
  -- ...
) ENGINE = MergeTree()
PARTITION BY
  (filetype, toYYYYMMDD(sale_date))
ORDER BY
  (filetype DESC, sale_date)
SETTINGS
  index_granularity = 8192

Пишет ошибку в районе

DESC, sale_date)

Приходится извращаться таким образом
(внимание на секцию ORDER BY):

CREATE TABLE db.sale (
  -- ...
    filetype  String,
    sale_date Date
  -- ...
) ENGINE = MergeTree()
PARTITION BY
  (filetype, toYYYYMMDD(sale_date))
ORDER BY
  ((filetype=='NV'?'0':(filetype=='Online'?'1':'2')), sale_date)
SETTINGS
PARTITION BY
  (filetype, toYYYYMMDD(sale_date))
ORDER BY
  ((filetype=='NV'?'0':(filetype=='Online'?'1':'2')), sale_date)
SETTINGS
  index_granularity = 8192

Шохарактерно, таблицу создаёт и не ругается

Что не так в синтаксисе? Или наоборот - всё верно, и другого способа нет?

источник

07:18пожаловаться #4

D

Dj in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

причем тут ttl , там можно
ALTER TABLE hits MOVE PARTITION '2019-09-01' TO DISK 'fast_ssd'

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-multiple-volumes

батюшки не знал, а что прям всю таблицу тоже можно?

источник

07:28пожаловаться #5

D

Dj in ClickHouse не тормозит

Sergey Lossev

Стесняюсь спросить - а не фигню ли я здесь пишу?

Мне нужно, чтобы файлы в таблице были выстроены определённом порядке: 'NV' - всегда всплывали наверх, а затем уж всё остальное (в частности 'Online'). Одновременно с этим, хочу использовать и второе поле сортировки - дату продажи (не спрашивайте, зачем)

Пытаюсь указать обратный порядок сортировки в секции ORDER BY, но создавать такое не хочет, ругается:

CREATE TABLE db.sale (
  -- ...
    filetype  String,
    sale_date Date
  -- ...
) ENGINE = MergeTree()
PARTITION BY
  (filetype, toYYYYMMDD(sale_date))
ORDER BY
  (filetype DESC, sale_date)
SETTINGS
  index_granularity = 8192

Пишет ошибку в районе

DESC, sale_date)

Приходится извращаться таким образом
(внимание на секцию ORDER BY):

CREATE TABLE db.sale (
  -- ...
    filetype  String,
    sale_date Date
  -- ...
) ENGINE = MergeTree()
PARTITION BY
  (filetype, toYYYYMMDD(sale_date))
ORDER BY
  ((filetype=='NV'?'0':(filetype=='Online'?'1':'2')), sale_date)
SETTINGS
PARTITION BY
  (filetype, toYYYYMMDD(sale_date))
ORDER BY
  ((filetype=='NV'?'0':(filetype=='Online'?'1':'2')), sale_date)
SETTINGS
  index_granularity = 8192

Шохарактерно, таблицу создаёт и не ругается

Что не так в синтаксисе? Или наоборот - всё верно, и другого способа нет?

ORDER BY xxx DESC

нужно писать уже в самом запросе, он будет использовать индекс нормально.
неважно что там в таблице физически сначала NV и потом Online или наоборот - нет.

ну и без ORDER BY в SELECT запросе никто вам ничего не гарантирует в никакой базе.

источник

07:39пожаловаться #6

SL

Sergey Lossev in ClickHouse не тормозит

Dj

ORDER BY xxx DESC

нужно писать уже в самом запросе, он будет использовать индекс нормально.
неважно что там в таблице физически сначала NV и потом Online или наоборот - нет.

ну и без ORDER BY в SELECT запросе никто вам ничего не гарантирует в никакой базе.

> ну и без ORDER BY в SELECT запросе никто вам ничего не гарантирует в никакой базе.
Да, это я отлично понимаю и когда буду выполнять запрос, конечно же, отсортирую, но у меня был вопрос по синтаксису - как заставить его схавать DESC, если полей сортировки больше одного?

источник

07:42пожаловаться #7

VA

Vasilij Abrosimov in ClickHouse не тормозит

Товарищи, а движок MySQL с каким уровнем изоляции работает? Дефолтный REPEATABLE READ? Это как-то регулируется?
SET SESSION TRANSACTION ISOLATION LEVEL исполнять он не хочет...

источник

08:18пожаловаться #8

D

Dj in ClickHouse не тормозит

Sergey Lossev

> ну и без ORDER BY в SELECT запросе никто вам ничего не гарантирует в никакой базе.
Да, это я отлично понимаю и когда буду выполнять запрос, конечно же, отсортирую, но у меня был вопрос по синтаксису - как заставить его схавать DESC, если полей сортировки больше одного?

Нельзя, и непонятно как этот desc вам поможет

источник

08:36пожаловаться #9

M

Munir in ClickHouse не тормозит

Всем привет. Есть необходимость на коленке сделать временный слив данных из кх в кафку. ClickHouse только построчно пишет? Батчами можно класть? Какой формат использовать?

источник

10:33пожаловаться #10

M

Munir in ClickHouse не тормозит

Кто-нибудь пробовал запись из кх в кафку?

источник

10:37пожаловаться #11

AK

Andrew Kochen in ClickHouse не тормозит

Испортились данные, КХ ругается на отсутвие файла

DB::Exception: File not found: /var/lib/clickhouse/data/sbx_logs/log/532578cd254e8c9868dde6ead44e13b4_25391_29404_2275/datetime.mrk2

но как-то восстановить можно?

источник

11:06пожаловаться #12

VB

Vladimir Bunchuk in ClickHouse не тормозит

Ребят, привет!
Столкнулся с такой проблемой. С наращиванием количества таблиц с движком Kafka (сейчас 17) начала сильно расти нагрузка на диск сервера c Zookeeper.
Сейчас IO утилизация стабильно 65%. Это известная проблема? Можно ли что-то оптимизировать?

источник

11:27пожаловаться #13

AK

Alex Krash in ClickHouse не тормозит

Vladimir Bunchuk

Ребят, привет!
Столкнулся с такой проблемой. С наращиванием количества таблиц с движком Kafka (сейчас 17) начала сильно расти нагрузка на диск сервера c Zookeeper.
Сейчас IO утилизация стабильно 65%. Это известная проблема? Можно ли что-то оптимизировать?

Посмотрите https://clickhouse.tech/docs/ru/operations/tips/#zookeeper
большое IO от Zoo может говорить о том, что слишком часто в диск пишутся snapshots. Можно подтюнить частоту создания этих снепшотов.

clickhouse.tech

Советы по эксплуатации | Документация ClickHouse

Советы по эксплуатации CPU Scaling Governor Всегда используйте performance scaling governor. ondemand scaling governor р

источник

11:30пожаловаться #14

v

vitakor in ClickHouse не тормозит

кто-то настраивал ClickHouse на google cloud так, чтоб авто-маштабировались инстансы по производительности и объему ? поделитесь опытом, плс

источник

11:35пожаловаться #15

VB

Vladimir Bunchuk in ClickHouse не тормозит

Alex Krash

Посмотрите https://clickhouse.tech/docs/ru/operations/tips/#zookeeper
большое IO от Zoo может говорить о том, что слишком часто в диск пишутся snapshots. Можно подтюнить частоту создания этих снепшотов.

clickhouse.tech

Советы по эксплуатации | Документация ClickHouse

Советы по эксплуатации CPU Scaling Governor Всегда используйте performance scaling governor. ondemand scaling governor р

спасибо
будем ковырять

источник

11:38пожаловаться #16

P

Pavel in ClickHouse не тормозит

Разобрались с переливкой данных, но в итоге сейчас проблемы при дедупликации данных

источник

12:05пожаловаться #17

P

Pavel in ClickHouse не тормозит

2020.07.23 08:01:25.619105 [ 235 ] {6e8a5c98-c609-4dfc-affa-6d5dbe135670} <Error> executeQuery: Code: 365, e.displayText() = DB::Exception: Output of TreeExecutor is not sorted (version 20.5.2.7 (official build)) (from 172.18.0.3:51428) (in query: OPTIMIZE TABLE log.events_test DEDUPLICATE), Stack trace (when copying this message, always include the lines below):
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10ed0da0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x95c923d in /usr/bin/clickhouse
2. DB::IBlockInputStream::getSortDescription() const @ 0xd99c5a9 in /usr/bin/clickhouse
3. DB::DistinctSortedBlockInputStream::DistinctSortedBlockInputStream(std::__1::shared_ptr<DB::IBlockInputStream> const&, DB::SizeLimits const&, unsigned long, std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, std::__1::allocator<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > const&) @ 0xe447d0b in /usr/bin/clickhouse
4. DB::MergeTreeDataMergerMutator::mergePartsToTemporaryPart(DB::FutureMergedMutatedPart const&, DB::MergeListEntry&, DB::TableStructureReadLockHolder&, long, std::__1::unique_ptr<DB::IReservation, std::__1::default_delete<DB::IReservation> > const&, bool, bool) @ 0xe42d70c in /usr/bin/clickhouse
5. DB::StorageMergeTree::merge(bool, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, bool, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >*) @ 0xe25356b in /usr/bin/clickhouse
6. DB::StorageMergeTree::optimize(std::__1::shared_ptr<DB::IAST> const&, std::__1::shared_ptr<DB::IAST> const&, bool, bool, DB::Context const&) @ 0xe2538e9 in /usr/bin/clickhouse
7. DB::InterpreterOptimizeQuery::execute() @ 0xdd8be5a in /usr/bin/clickhouse
8. ? @ 0xe074a59 in /usr/bin/clickhouse
9. DB::executeQuery(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, bool, DB::QueryProcessingStage::Enum, bool) @ 0xe07811a in /usr/bin/clickhouse
10. DB::TCPHandler::runImpl() @ 0xe698946 in /usr/bin/clickhouse
11. DB::TCPHandler::run() @ 0xe699660 in /usr/bin/clickhouse
12. Poco::Net::TCPServerConnection::start() @ 0x10deebcb in /usr/bin/clickhouse
13. Poco::Net::TCPServerDispatcher::run() @ 0x10def05b in /usr/bin/clickhouse
14. Poco::PooledThread::run() @ 0x10f6db86 in /usr/bin/clickhouse
15. Poco::ThreadImpl::runnableEntry(void*) @ 0x10f68f80 in /usr/bin/clickhouse
16. start_thread @ 0x76db in /lib/x86_64-linux-gnu/libpthread-2.27.so
17. __clone @ 0x12188f in /lib/x86_64-linux-gnu/libc-2.27.so

источник

12:05пожаловаться #18

KS

Konstantin Sevastian... in ClickHouse не тормозит

подскажите, с какого релиза можно селектить from MongoDB?

источник

13:09пожаловаться #19

M

Maxim Bogdanov in ClickHouse не тормозит

подскажите, кто знает внутренности MergeTree. Как кликхаус ходит по индексу, если в условиях есть только вторая колонка, но нет первой. В таком случае получается, что кликхаус должен просканить весь индекс, так как данные второй колонки могут быть разбросаны между гранулами.

источник

13:28пожаловаться #20