Size: a a a

ClickHouse не тормозит

2020 June 05

DT

Dmitry Titov in ClickHouse не тормозит
а в логах есть что то интересное?
Можно в теории очистить таблицу-назначение, маловероятно но вдруг он пытается что то сделать с tmp партами
источник

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
почти ) избавился от промежуточных имен, теперь бы не хотелось зависеть от порядка упаковки значений (name, price) при распаковке col.1 as name, col.2 as price, но динамические имена колонок просто так не даются ((
В боевых условиях полей не 2 )
SELECT col.1 as name, col.2 as price, avg
FROM (
     SELECT arrayJoin(groupArray((name, price))) as col, avg(price) as avg
     FROM (
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
             )
        )
WHERE price > avg;
если вас прямо напрягает нумерация - не используйте тупл
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Dmitry Titov
а в логах есть что то интересное?
Можно в теории очистить таблицу-назначение, маловероятно но вдруг он пытается что то сделать с tmp партами
В логах один эррор -  <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 240, e.displayText() = DB::ErrnoException: Allocator: Cannot mremap memory chunk from 4.00 GiB to 8.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace (when copying this message, always include the lines below):
источник

DT

Dmitry Titov in ClickHouse не тормозит
Leonid Betelgeuse
В логах один эррор -  <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 240, e.displayText() = DB::ErrnoException: Allocator: Cannot mremap memory chunk from 4.00 GiB to 8.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace (when copying this message, always include the lines below):
сколько оперативной памяти на сервере?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
16
источник

DT

Dmitry Titov in ClickHouse не тормозит
Переслано от Denny Crane (I don't...
например джойны не учитывают этих ограничений.

и я бы добавил

cat /etc/clickhouse-server/conf.d/marks_cache.xml
<?xml version="1.0"?>
<yandex>
   <mark_cache_size>256000000</mark_cache_size>
</yandex>
источник

DT

Dmitry Titov in ClickHouse не тормозит
попробуй
источник

DT

Dmitry Titov in ClickHouse не тормозит
но 16гб это мало
источник

DT

Dmitry Titov in ClickHouse не тормозит
скок записей в таблицах было?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Dmitry Titov
скок записей в таблицах было?
468к
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Leonid Betelgeuse
В логах один эррор -  <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 240, e.displayText() = DB::ErrnoException: Allocator: Cannot mremap memory chunk from 4.00 GiB to 8.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace (when copying this message, always include the lines below):
а версия КХ ?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
ClickHouse server version 20.1.5.26 (official build).
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Leonid Betelgeuse
ClickHouse server version 20.1.5.26 (official build).
alter delete запускали?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
нет
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Dj
>(name, price) при распаковке col.1 as name, col.2 as price, но динамические имена колонок просто так не даются

не получится, туплы адресуются только по номеру в тупле, ассоциативной адресации нет.

но если честно проблема не ясна. Вы будете генерировать кодом или писать руками?
можно же двумерные туплы брать: (('name', name), ('price', price)) , чтобы сохранить ассоциацию имя-значение
Генерировать запросы будем по-разному: и руками, и скриптом
Проблема сейчас в том, что можно легко ошибиться при перечислении и при рефакторинге
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
надо больше логов, непоятно что делал <Error> void DB::BackgroundProcessingPool::threadFunction()
и надо обновлять до 20.1.12.86
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
надо больше логов, непоятно что делал <Error> void DB::BackgroundProcessingPool::threadFunction()
и надо обновлять до 20.1.12.86
Что именно из логов показать, трейсы? не хочется сюда много шума тащить.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Leonid Betelgeuse
Что именно из логов показать, трейсы? не хочется сюда много шума тащить.
ну весь желательно
источник

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
можно же двумерные туплы брать: (('name', name), ('price', price)) , чтобы сохранить ассоциацию имя-значение
Генерировать запросы будем по-разному: и руками, и скриптом
Проблема сейчас в том, что можно легко ошибиться при перечислении и при рефакторинге
и перебором искать туплы динамически? это какой-то новый уровень оверэнжиниринга,  тормозов и доп памяти для запроса (в 2 раза минимум)...
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну весь желательно
источник