Size: a a a

ClickHouse не тормозит

2020 August 26

KL

Katherine L in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
1 на всех
2 никак

>задача - отключить мерж временных таблиц, чтоб не тратить зря ресурс
все это звучит исключительно дико со всех точек зрения, примерно как попытка выстрелить в оба колена сразу
эээ каких временных ? движок?   MergeTree ? ну так вставляйте чтобы был сразу один парт и никаких мержей не будет.
спасибо

мы заливаем данные во временую таблицу, потом выполняем проверки, потом делаем своп с продовой таблицей (или с партицией продовой таблицы), а временную таблицу удаляем.
пока временная живёт, кх начинает ненужные мержи
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Katherine L
спасибо

мы заливаем данные во временую таблицу, потом выполняем проверки, потом делаем своп с продовой таблицей (или с партицией продовой таблицы), а временную таблицу удаляем.
пока временная живёт, кх начинает ненужные мержи
ОК
но  а какая разница мержить сейчас или потом?
источник

KL

Katherine L in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ОК
но  а какая разница мержить сейчас или потом?
иногда временная не сразу чистится, тогда мержим 2 таблицы вместо одной
источник

RT

Roman Tarasov in ClickHouse не тормозит
всем привет!
подскажите пожалуйста с чем может быть связано?

2020.08.26 19:13:34.515169 [ 56547 ] {} <Error> Application: Caught exception while loading metadata: std::exception. Code: 1001, type: std::bad_cast, e.what() = std::bad_cast, Stack trace (when copying this message, always include the lines below):

0. std::bad_cast::bad_cast() @ 0x128f2f9a in ?
1. __cxa_bad_cast @ 0x128f3006 in ?
2. ? @ 0xf2a4584 in /usr/bin/clickhouse
3. DB::StorageDistributedDirectoryMonitor::createPool(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::StorageDistributed const&) @ 0xf010a4a in /usr/bin/clickhouse
4. DB::StorageDistributed::requireDirectoryMonitor(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&) @ 0xee58e5e in /usr/bin/clickhouse
5. DB::StorageDistributed::createDirectoryMonitors(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&) @ 0xee5db1e in /usr/bin/clickhouse
6. DB::StorageDistributed::startup() @ 0xee5de48 in /usr/bin/clickhouse
7. ? @ 0xe822c92 in /usr/bin/clickhouse
8. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0x9f61a37 in /usr/bin/clickhouse
9. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()&&...)::'lambda'()::operator()() const @ 0x9f621aa in /usr/bin/clickhouse
10. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x9f60f47 in /usr/bin/clickhouse
11. ? @ 0x9f5f433 in /usr/bin/clickhouse
12. start_thread @ 0x76db in /lib/x86_64-linux-gnu/libpthread-2.27.so
13. __clone @ 0x121a3f in /lib/x86_64-linux-gnu/libc-2.27.so
(version 20.5.5.74 (official build))
источник

RT

Roman Tarasov in ClickHouse не тормозит
бутется по кругу
источник

RT

Roman Tarasov in ClickHouse не тормозит
после обновления до 20.5.5.74
источник

RT

Roman Tarasov in ClickHouse не тормозит
методом исключения нашел причину
мувал файлы метаданных по каждой таблице пока не загрзился кх
причиной оказалась distributed таблица, а точнее её директория в которой лежала папка с таким названием shard1_replica1,shard1_replica2
удалил папку, вернул файл метаданных этой таблицы и clickhouse снова загружается без проблем с полным набором таблиц
но почему?))
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
методом исключения нашел причину
мувал файлы метаданных по каждой таблице пока не загрзился кх
причиной оказалась distributed таблица, а точнее её директория в которой лежала папка с таким названием shard1_replica1,shard1_replica2
удалил папку, вернул файл метаданных этой таблицы и clickhouse снова загружается без проблем с полным набором таблиц
но почему?))
ну баг видимо

в какой-то момент в сделали новый компактный формат для директорий distributed таблиц, но при этом оказалось что не получается даунгредится, потому что старые КХ не понимают новый формат имен директорий. Поэтому через версию добавили параметр use_compact_format_in_distributed_parts_names и выключили его по умолчанию. Видимо у вас оказалось что директория в новом формате, а параметр выключен, как-то так.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Но и имя странное shard1_replica1,shard1_replica2 почему сразу две реплики
источник

RT

Roman Tarasov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну баг видимо

в какой-то момент в сделали новый компактный формат для директорий distributed таблиц, но при этом оказалось что не получается даунгредится, потому что старые КХ не понимают новый формат имен директорий. Поэтому через версию добавили параметр use_compact_format_in_distributed_parts_names и выключили его по умолчанию. Видимо у вас оказалось что директория в новом формате, а параметр выключен, как-то так.
спасибо за разъяснение
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
источник

D

Dj in ClickHouse не тормозит
Dj
@den_crane а вы можете теги в ишщях выставлять? просто https://github.com/ClickHouse/ClickHouse/issues/13861 это баг. BW compatibility тут не причем. При создании словаря на odbc с нуля так же не работает...
https://github.com/ClickHouse/ClickHouse/issues/13861#issuecomment-681060162

в общем оракл сломался окончательно и бесповоротно :(
источник

s

ssv in ClickHouse не тормозит
Всем привет! Нубский вопрос, больше по SQL, но на КХ, так что сильно не пинайте ) Суть такая. Есть две строки  (например ('a',1),('b',2)), надо их запилить в одну ('a',1,'b',2) и переложить в другую таблицу. Кол-во строк может меняться, так же как и кол-во значений (хотя и ограниченное число). Как это можно сделать? Кроме как сделать шаблон на вывод мыслей пока нет...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
https://github.com/ClickHouse/ClickHouse/issues/13861#issuecomment-681060162

в общем оракл сломался окончательно и бесповоротно :(
ломается все на то что нет CI тестов. Надо дописывать тесты с подьемом оракла в контейнере или с каким-то моком  select 1
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ssv
Всем привет! Нубский вопрос, больше по SQL, но на КХ, так что сильно не пинайте ) Суть такая. Есть две строки  (например ('a',1),('b',2)), надо их запилить в одну ('a',1,'b',2) и переложить в другую таблицу. Кол-во строк может меняться, так же как и кол-во значений (хотя и ограниченное число). Как это можно сделать? Кроме как сделать шаблон на вывод мыслей пока нет...
банальный insert select
источник

s

ssv in ClickHouse не тормозит
Вопрос в самом селекте. Что-то туплю и никак не могу подступиться..
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ssv
Вопрос в самом селекте. Что-то туплю и никак не могу подступиться..
что такое ('a',1),('b',2) ?

SELECT ('a', 1)
UNION ALL
SELECT ('b', 2)

┌─tuple('a', 1)─┐
│ ('a',1)       │
└───────────────┘
┌─tuple('a', 1)─┐
│ ('b',2)       │
└───────────────┘

? или что?
источник

s

ssv in ClickHouse не тормозит
Значения. Сейчас пример кину.
источник

s

ssv in ClickHouse не тормозит
VAL1,  VAL2
шт. 11
шт. 12
шт. 13
шт. 14

А надо  получить в строчку шт. 11 шт. 12 шт. 13 шт. 14
источник

s

ssv in ClickHouse не тормозит
типа COALESCE
источник