Коллеги, доброго времени суток, такой вопрос, имеется таблица ReplacingMergeTree, примерно на 1k строк +-30 строк вставляется с таким же ключом сортировки, как сильно отразится производительность от модификатора FINAL на больших объемах?

Дело в том, что запросов много и часто и некоторые диапазоны получаются большие (как раз ложно-положительные). Вот кумулятивно, получается нехватка памяти. Сообщение об ошибке стандартное при попытке вставить данные. Хотя без этих мелких запросов все работало стабильно 10 дней (по 10 млн. записей в сутки).

Есть неуникальные данные которые размазаны по шардам рандомно.
Задача - сагрегировать данные каждом шарде и уникализировать эти агрегаты во всем кластере.

Раньше была старая версия clickhouse 1.1*

И на нем проблема решалась примерно так. На каждом шарде делалась агрегация такого вида.

select * from (
 select *, hostName() as hostname from distributed_table
 limit 1 by unique_key
) where hostname = hostName()

После обновления на версию 19.16.14.65 этот подход перестал работать, из-за того, что появилась вероятность того, что вложенный и наружний запросы стали выполняться на разных репликах одного шарда. Соответственно стала возвращаться пустота т к hostName() никогда не совпадут (тут я очень сильно удивился, т к prefer_localhost_replica=1 не помог, может есть способ строго зафиксировать реплику?)


Появилось желание переделать c hostName() на shard_num из system.clusters, для этого делаю join этой таблицы.

виртуального _shard_num нет еще в нашей версии.

Привет.
Есть задача, файлы *.csv.gz лежат в AWS S3.
Можно ли их без предварительной декомпрессии инсертить в КХ?

здраствуйте, поскажите как почистить историю консольного клиента?

Пинг, ребята. А что делать если таблица не удалилась на одном хосте по причине:

Table was not dropped because ZooKeeper session has expired..

дропать на хосте

А есть смысл в КХ для IP-адресов использовать соответствующие типы или проще взять универсальный String?

Как понимаю, если хочется хранить IPv4 и IPv6 одновременно, то надо просто оба писать в столбец с типом IPv6?

пробывал, тоже самое

rm ~/.clickhouse-client-history

Коллеги, доброго времени суток, такой вопрос, имеется таблица ReplacingMergeTree, примерно на 1k строк +-30 строк вставляется с таким же ключом сортировки, как сильно отразится производительность от модификатора FINAL на больших объемах?

>появилась вероятность того, что вложенный и наружний
>запросы стали выполняться на разных репликах одного шарда

конечно нет. Вообще все не так и в 1.1* и в 19.16.
Внешний запрос всегда выполняется и всегда выполнялся на инициаторе и там был hostName() инициатора.



>Есть неуникальные данные которые размазаны по шардам рандомно.
ну у всех так, это типовая ситуация

>Задача - сагрегировать данные каждом шарде и
>уникализировать эти агрегаты во всем кластере.
Что???????

почему просто

select * from distributed_table limit 1 by unique_key

не подходит?

Друзья, вроде бы все сделал правильно, но не удается прочитать из kafka и положить в clickhouse, в логе clickhouse попытки прочесть выглядят вот так:

2020.03.16 03:34:29.811018 [ 19 ] {} <Debug> StorageKafka (test3_queue): Started streaming to 1 attached views
2020.03.16 03:34:29.811521 [ 19 ] {} <Trace> StorageKafka (test3_queue): Already subscribed to topics: [  ]
2020.03.16 03:34:29.811547 [ 19 ] {} <Trace> StorageKafka (test3_queue): Already assigned to : [  ]
2020.03.16 03:34:44.817577 [ 19 ] {} <Trace> StorageKafka (test3_queue): Can't get assignment
2020.03.16 03:34:44.817726 [ 19 ] {} <Trace> StorageKafka (test3_queue): Nothing to commit.
2020.03.16 03:34:45.818612 [ 19 ] {} <Trace> StorageKafka (test3_queue): Re-joining claimed consumer after failure
2020.03.16 03:34:45.818964 [ 19 ] {} <Error> void DB::StorageKafka::threadFunc(): std::exception. Code: 1001, type: cppkafka::HandleException, e.what() = Local: Timed out, version = 19.16.14.65 (official build)
2020.03.16 03:34:45.819004 [ 19 ] {} <Trace> StorageKafka (test3_queue): Execution took 16008 ms.

19.8.3.8 был очень неудачным и очень кривым, как вообще так вышло что вы на нем застряли?

берите 19.13.7.57

Привет.
Есть задача, файлы *.csv.gz лежат в AWS S3.
Можно ли их без предварительной декомпрессии инсертить в КХ?

1. а в каком смысле "очень неудачным и очень кривым"?
2. если переходить на 20-ю версию, то какую лучше брать?