ну тут пол-чата через кафку грузит, но раз вы так говорите то надо им сказать )))
есть полно факторов, у всех они свои. ваши - вам лучше известны

Через Rabbit сначала хотел, но там такая таблица и так мало ресурсов что смэрть

кафка это скорее распределённый лог, а не очередь сообщений в классическом понимании

ну, в случае загрузки в КХ, она выполняет роль неполноценного-MQ

хотя я собственно и не говорил про загрузку через MQ, это у Егора как я понял уже есть rabbitMQ, и он хотел её переиспользовать

как колбасу не назови, она колбасой и останется

аха, и КХ - не база данных, а движок для записи и чтения на/с диск(а) =)

ну в плане с кафки можно будет перечитать историю если понадобится или подключить дополнительных консьюмеров

там нет удаления on ack

в общем если в аппе никак, попробуйте kittenhouse/clickhouse-bulk - они оба умеют класть на диск... память не сожрут

кликхаус балк на диск кладет только если не получилось вставить с первой попытки в кх

У нас бывало он гига 4 памяти отжирал.

ну там же настройка есть нужная?

"dump_dir": "dumps", // directory for dump unsended data (if clickhouse errors)?

я про память, просто сказать чаще дампить, не?

А, такое есть, да.

кажется bulk не умеет дампить на диск если принимает чем КХ может прожевать, Юрий же вот показывал в видео как балк жрет всю память доступную и потом оом https://www.youtube.com/watch?v=Al70kbRRDOs&list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&index=33&t=0s.

под дампить, подразумевал в базу...
а вообще - все делать в аппе надо )

20krps как бы дофига, вы попробуйте например в Null писать 20krps и офигейте от загрузки сети и cpu

Всем привет! Может кто сталкивался с этой проблемой - есть задача дополнять Nullable колонки, допустим есть таблица (id UInt8, foo Nullable(UInt8), bar Nullable(UInt8)). Есть первый insert в таблицу - (0, 3, NULL), и второй (0, NULL, 9). Можно ли как-то смержить обе строки по одинаковому ID, но чтобы получилась в итоге одна строка - (0, 3, 9)?
На данный момент делаю это через выборку существующей строки, беру оттуда все данные, и вставляю уже с дополненными данными в таблицу движка ReplacingMergeTree, вот только это медленно