Size: a a a

ClickHouse не тормозит

2020 June 09

AK

Alexey Kostarev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
>layout нужно сделать complex_key_hashed
+1

не делайте имена полей киррилицей (по крайней мере у таблиц), на диске имена файлов кодируются через %4564676%353454 и вылетают за максимально возможную длину в ext4
да насчет кириллических имен я в курсе - трудно просматривать /var/lib/clickhouse/data
но иногда это требование не под моей властью

Кстати после Postgres с 64 байтами длина имена базы/файла в ClickHouse поболее будет
256/3 = 85 кириллических символов
В Postgres - 21 кириллический символ
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey Kostarev
да насчет кириллических имен я в курсе - трудно просматривать /var/lib/clickhouse/data
но иногда это требование не под моей властью

Кстати после Postgres с 64 байтами длина имена базы/файла в ClickHouse поболее будет
256/3 = 85 кириллических символов
В Postgres - 21 кириллический символ
когда завтра база сломается НАВСЕГДА во время мержа, потому что имя парта стало длинее, сюда не приходите ныть, пожалуста.
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
когда завтра база сломается НАВСЕГДА во время мержа, потому что имя парта стало длинее, сюда не приходите ныть, пожалуста.
Принято 😊
источник

GR

Gubaydullin Ruslan in ClickHouse не тормозит
пытаюсь импортировать данные из сsv файла
clickhouse-client --format_csv_delimiter="," --query="INSERT INTO table FORMAT CSV" < /tmp/data.csv

в файле есть строка KHTML\, like Gecko (экранированная запятая)

выходит ошибка
каким образом можно скормить эту строку?
спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Gubaydullin Ruslan
пытаюсь импортировать данные из сsv файла
clickhouse-client --format_csv_delimiter="," --query="INSERT INTO table FORMAT CSV" < /tmp/data.csv

в файле есть строка KHTML\, like Gecko (экранированная запятая)

выходит ошибка
каким образом можно скормить эту строку?
спасибо
CSV стандарт имплеминтированный в КХ допускает только двойные кавычки в этом случае "KHTML,"
источник

GR

Gubaydullin Ruslan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
CSV стандарт имплеминтированный в КХ допускает только двойные кавычки в этом случае "KHTML,"
выгружал данные в csv с помощью pgsql
источник

GR

Gubaydullin Ruslan in ClickHouse не тормозит
pgsql экранировал запятую
источник

GR

Gubaydullin Ruslan in ClickHouse не тормозит
copy (select from table) To '/tmp/data.csv' DELIMITER ',';
источник

DT

Dmitry Titov in ClickHouse не тормозит
Gubaydullin Ruslan
выгружал данные в csv с помощью pgsql
я в этом случае TSV выгружал
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Gubaydullin Ruslan
выгружал данные в csv с помощью pgsql
COPY (select * from crash_test) TO PROGRAM 'clickhouse-client --query="INSERT INTO crash_test FORMAT CSV"' with csv force quote *;
источник

Д

Дмитрий in ClickHouse не тормозит
Всем привет. Пользовался ли кто-либо функцией runningAccumulate?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий
Всем привет. Пользовался ли кто-либо функцией runningAccumulate?
тут в чате примерно 100500 примеров как ей пользоваться, и как выразить тоже самое через массивы и arrayCumSum
источник

Д

Дмитрий in ClickHouse не тормозит
пасиб большое, я нашёл, сорри, что отвлёк представителей сообщества. Извините, пожалуйста)
источник

D

Denisio in ClickHouse не тормозит
где гайку покрутить?

DB::Exception: Memory limit (total) exceeded: would use 3.47 GiB (attempt to allocate chunk of 4502616 bytes), maximum: 3.47 GiB (version 20.4.4.18 (official build))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denisio
где гайку покрутить?

DB::Exception: Memory limit (total) exceeded: would use 3.47 GiB (attempt to allocate chunk of 4502616 bytes), maximum: 3.47 GiB (version 20.4.4.18 (official build))
а сколько памяти у вас?

<max_server_memory_usage_to_ram_ratio>1</max_server_memory_usage_to_ram_ratio>
или
<max_server_memory_usage_to_ram_ratio>2</max_server_memory_usage_to_ram_ratio>
источник

D

Denisio in ClickHouse не тормозит
на виртуалку выделено 6 гигов :(
источник

OD

Oleg Dianov in ClickHouse не тормозит
Denisio
где гайку покрутить?

DB::Exception: Memory limit (total) exceeded: would use 3.47 GiB (attempt to allocate chunk of 4502616 bytes), maximum: 3.47 GiB (version 20.4.4.18 (official build))
А что у вас в uname --m?
источник

D

Denisio in ClickHouse не тормозит
ща
источник

D

Denisio in ClickHouse не тормозит
x86_64
источник

D

Denisio in ClickHouse не тормозит
щас разуплотню немношко памяти
источник