set send_logs_level = 'trace';

OPTIMIZE TABLE mytable PARTITION ID '202101' FINAL;

Спасибо, места на диске не хватает

если set optimize_throw_if_noop =1 ;
то OPTIMIZE TABLE mytable PARTITION ID '202101' FINAL;
выбросит эксепшин

Как можно взять 100 считая от максимума значение (у меня несколько таких колонок, но в каждой из них независимо надо отобрать 100 значение сверху)

P.S. А, квантиль. проглядел(

Добрый день!

Обновили Clickhouse-сервер с версии 19.7.5.29 до 20.8.12.2.

Среда - nodejs, версия библиотеки apla/clickhouse 1.6.4.

Пишем в поток примерно 500 записей за раз:

const stream: NodeJS.ReadWriteStream = ch.query(`INSERT INTO events`, { format: 'JSONEachRow' });

do {
 const event: IChEvent | undefined = await eventsService.getEventLogFromRedis();
 const eventString: string = JSON.stringify(event);
 stream.write(eventString);
} while (true);

С предыдущей версией Clickhouse без проблем порядка 10000-15000 записей уходило, по коду никаких изменений не делали. Сейчас в коде не получаем никаких exception-ов, но и запись не происходит. Если уменьшить размер батча до 100 записей - все начинает работать.

В логах видели ошибку:

2021.03.01 10:09:01.269203 [ 275 ] {773481a2-ea4f-414e-b225-25f4a3f3675c} <Error> void DB::ParallelParsingBlockInputStream::onBackgroundException(): Code: 23, e.displayText() = DB::Exception: Cannot read from istream at offset 0, Stack trace (when copying this message, always include the lines below):

Полный лог тут:

https://pastebin.com/xQw9NHNC

const stream: NodeJS.ReadWriteStream = ch.query(`INSERT INTO events`, { format: 'JSONEachRow' });

do {
 const event: IChEvent | undefined = await eventsService.getEventLogFromRedis();
 const eventString: string = JSON.stringify(event);
 stream.write(eventString);
} while (true);

2021.03.01 10:09:01.269203 [ 275 ] {773481a2-ea4f-414e-b225-25f4a3f3675c} <Error> void DB::ParallelParsingBlockInputStream::onBackgroundException(): Code: 23, e.displayText() = DB::Exception: Cannot read from istream at offset 0, Stack trace (when copying this message, always include the lines below):

иногда? или воспроизводится?

При попытке вставки более 500 записей всегда воспроизводится

в профиле пользователя поставьте input_format_parallel_parsing=0

можете еще проверить на 21.2 ? (на стейдже) ?

не подскажете, сможем ли откататься с нее вниз на 20.8.12.2? или лучше предварительно забекапить данные

эммм. Лучше ничено не делайте тогда.

Вы на ноуте в докере что-ли не можете проверить?

да, точно ж - сейчас попробуем

Привет всем,  clickhouse-server   19.3.7, после переноса с ubuntu 16.04 на 20.04 стали плодится процессы [clickhouse-odbc] <defunct> (на ubu 16 не было). Настройки те же.
odbc.ini такого вида.
[DEFAULT]
Description         = PostgreSQL connection to adbro
Driver              = /usr/lib/x86_64-linux-gnu/odbc/psqlodbcw.so
Database            = *******
Servername          = *********
UserName            = *********
Password            = *********
Port                = 5432
Protocol            = 10.4
ReadOnly            = Yes
RowVersioning       = No
ShowSystemTables    = No
ConnSettings        =
Буду благодарен за помощь.

dpkg -l '*odbc*'

ii  libodbc1:amd64         2.3.6-0.1build1 amd64        ODBC library for Unix
ii  odbc-postgresql:amd64  1:12.01.0000-1  amd64        ODBC driver for PostgreSQL
ii  odbcinst               2.3.6-0.1build1 amd64        Helper program for accessing odbc ini files
ii  odbcinst1debian2:amd64 2.3.6-0.1build1 amd64        Support library for accessing odbc ini files
ii  unixodbc               2.3.6-0.1build1 amd64        Basic ODBC tools

а на старом тоже был unixodbc ?

да вроде, счас не могу глянуть уже удалили старые

Да вот в доке нашёл, ставил там sudo apt-get install -y unixodbc odbcinst odbc-postgresql

Подскажите, как проверить эти процессы в фоне? А остановить?
ALTER TABLE logs MOVE PARTITION '2021-02-22' TO DISK 'disk_hdd';
DB::Exception: Cannot move part '20210222_1776809_1789856_8_1817797' because it's participating in background process.

Лёха, разобрался?

Ну там написали пару вариантов неплохих про ресампл, аррайфильтр но это работа с массивами и не охота усложнять (превращать в массивы и обратно в строки) и потому просто использовал multiIf() - категорий у меня не много, а если б было больше то использовал бы ресампл наверное