Size: a a a

ClickHouse не тормозит

2021 January 13

PL

Piotr Liakhavets in ClickHouse не тормозит
спайки - от запросов, а чем стабильно треть проца занято не могу разгадать
и в таком стиле 2 кластера по 12 тачек(
источник

SC

Sarcastic Cat in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
TZ свойство типа (свой-во колонки), а не значения. В metrics TZ Moscow
хех, все равно непонятно, как мне тогда сгенерить timeSlots правильно
алсо
SELECT toTypeName(timeSlots(toDateTime(toDate('2021-01-11')), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400))) AS typename

┌─typename─────────────────────────┐
│ Array(DateTime('Europe/Moscow')) │
└──────────────────────────────────┘
источник

NT

Nikita Tikhomirov in ClickHouse не тормозит
А можете посоветовать, какой нибудь красивый\удобный вьювер (а может даже и моделер) для clickhouse?
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
Nikita Tikhomirov
А можете посоветовать, какой нибудь красивый\удобный вьювер (а может даже и моделер) для clickhouse?
dBeaver - будьте как все
источник

NT

Nikita Tikhomirov in ClickHouse не тормозит
Viacheslav Nefedov
dBeaver - будьте как все
Да, похоже это то, что искал, спасибо
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
Nikita Tikhomirov
Да, похоже это то, что искал, спасибо
Тогда давайте не останавливаться на достигнутом. Будьте лучше, чем большинство - https://www.jetbrains.com/datagrip/ :)
источник

NT

Nikita Tikhomirov in ClickHouse не тормозит
Viacheslav Nefedov
Тогда давайте не останавливаться на достигнутом. Будьте лучше, чем большинство - https://www.jetbrains.com/datagrip/ :)
:D
источник

NT

Nikita Tikhomirov in ClickHouse не тормозит
А можно ли сделать COMMENT COLUMN при CREATE TABLE?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Nikita Tikhomirov
А можно ли сделать COMMENT COLUMN при CREATE TABLE?
create table XX(A Int64 comment 'xxxxx') Engine=Log
источник

NT

Nikita Tikhomirov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
create table XX(A Int64 comment 'xxxxx') Engine=Log
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
( A Int64 default 100  comment 'xxxxx' CODEC(Delta,ZSTD) )
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
еще одно странное поведение
(обновили КХ 20.4.3 > 20.12.4)
временные таблицы с engine=Log
созданные и еще не дропнутые с версии 20.4 читаются в несколько тредов (insert-select ~1m rows ~19sec)

а созданная в 20.12 почему-то ломится в 1 тред (и в 2-3 раза дольше обрабатывается)
насильно пытаюсь увеличить (

set max_threads = 6;
set min_insert_block_size_rows=200000;
) - не помогает - видимо чего-то не учел?
источник

D

Dj in ClickHouse не тормозит
Piotr Liakhavets
еще одно странное поведение
(обновили КХ 20.4.3 > 20.12.4)
временные таблицы с engine=Log
созданные и еще не дропнутые с версии 20.4 читаются в несколько тредов (insert-select ~1m rows ~19sec)

а созданная в 20.12 почему-то ломится в 1 тред (и в 2-3 раза дольше обрабатывается)
насильно пытаюсь увеличить (

set max_threads = 6;
set min_insert_block_size_rows=200000;
) - не помогает - видимо чего-то не учел?
Странно это. А просто селект тоже в 1 поток?
источник

OG

Oleg Gavrilov in ClickHouse не тормозит
как можно узнать row, в котором началась последовательность, удовлетворяющая sequenceMatch ?
источник

OG

Oleg Gavrilov in ClickHouse не тормозит
или можно как-то получить все данные, которые удовлетворяют sequenceMatch, а не просто их количество?
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Dj
Странно это. А просто селект тоже в 1 поток?
Когда таблицу log заполняю с  min_insert_block_size_rows=200000
То на селекте в формат нулл можно добиться того, чтобы было несколько тредов
Но чтобы и  на  инсерты позитивно повлияло - не заборол пока
источник

S

Slach in ClickHouse не тормозит
Piotr Liakhavets
Когда таблицу log заполняю с  min_insert_block_size_rows=200000
То на селекте в формат нулл можно добиться того, чтобы было несколько тредов
Но чтобы и  на  инсерты позитивно повлияло - не заборол пока
max_insert_threads
можно попробовать увеличить, если еще не делали

https://github.com/ClickHouse/ClickHouse/search?q=max_insert_threads
источник

IK

Ivan Kush in ClickHouse не тормозит
никто не знает, поддерживает ли CH чз http FORMAT CustomSeparated?
https://github.com/ClickHouse/ClickHouse/issues/12744#issuecomment-663738562

Потому что без него у меня CH выдает ошибку, что не нашёл ,
Row 1:
Column 0,   name: datetime,        type: String, parsed text: "2021-Jan^d1^d2"  ERROR: Line feed found where delimiter (,) is expected. It's like your file has less columns than expected.                                
And if your file have right number of columns, maybe it have unescaped quotes in value        


А
когда делаю запрос с указаниме типа разделителя format_custom_field_delimiter='^', то выдаёт ошибку
Code: 49, e.displayText() = DB::Exception: There is no checkpoint (version 20.1.2.4 (official build)) 

cам запрос
find . -type f -name 'j.log' | while read f; do
 curl "http://localhost:8123
/?query=INSERT%20INTO%20mydb%20FORMAT%20CustomSeparated%20SETTINGS%20format_custom_escaping_rule%3D%27CSV%27%2C%20format_custom_field_delimiter%20%3D%20%27%5E%27" --data-binary "@${f}"
done
источник

D

Dj in ClickHouse не тормозит
Piotr Liakhavets
Когда таблицу log заполняю с  min_insert_block_size_rows=200000
То на селекте в формат нулл можно добиться того, чтобы было несколько тредов
Но чтобы и  на  инсерты позитивно повлияло - не заборол пока
Так у вас вставка не параллелится? Я думал селекты. По вставке insert_select куча параметров есть которые надо смотреть.
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
В лоб пробовал - не спасло
источник