и лезут и лезут..

Добрый день!

Подключил clickhouse к Яндекс.DataLens
2 таблицы показываются. Где искать конверсии целей? А то перерыл таблицы и не вижу. :(

а что говорит select *
from system.settings
where name like '%memory%'  ?

ещё вопрос включен ли SQL для конфигурирования

и какая версия CH

SELECT 
    type,
    symbol,
    interval,
    count()
FROM 
(
    SELECT 
        type,
        symbol,
        arrayJoin(['1m', '5m', '15m']) AS interval,
        trade_time
    FROM trades
    PREWHERE toYYYYMM(trade_time) = 201709
)
GROUP BY 
    type,
    symbol,
    interval,
    transform(interval, ['1m', '5m', '15m'], [toStartOfInterval(trade_time, toIntervalMinute(1)), toStartOfInterval(trade_time, toIntervalMinute(5)), toStartOfInterval(trade_time, toIntervalMinute(15))], now()) AS int
ORDER BY 
    type ASC,
    symbol ASC,
    interval ASC

😠

ржачь конечно, но источник проблемы: к сожалению в 75 году в процессоре intel забыли поддержать Null.
приходится извращаться.

проблема не в хранении на диске, хотя это тоже огромная проблема.
проблема в том как Null представлены в памяти, и почему операции с Nullable колонками в ПАМЯТИ требуют сильно больше памяти и в 2 раза медленнее работают.

база зукипера очень важна, придется пересоздавать Replicated таблицы и переналивать реплики если ее потерять

Есть таблица localization_history_queue у нее движок kafka и в нее пишуться сообщения с бэка, так же присутствует materialized вьюха которая должна аггрегировать записи из таблицы с движком кафки и писать в таблицу localization_history типа CollapsingMergeTree. Но проблема в том что в последнюю таблицу ничего не пишется, в чем может быть дело?

DDL’ка вьюхи:
CREATE MATERIALIZED VIEW localization_history_consumer TO localization_history
(
   timestamp DateTime,
   user_id String,
   group_id String,
   latitude Float32,
   longitude Float32,
   state String,
   place_id String,
   accuracy Float32,
)
AS
SELECT toDateTime(substr(toString(timestamp), 1, 10)) AS timestamp,
      user_id,
      group_id,
      latitude,
      longitude,
      state,
      place_id,
      accuracy
FROM localization_history_queue;

Повреждение данных на диске после записи (bit rot) или в момент записи (RAID write hole) приводит к потере части данных на одной из реплик. Если реплик более одной, то потеря записанных данных имеет очень небольшую вероятность. Впрочем, если данные реплицированы в разных датацентрах, то включение fsync уже даёт не так много преимуществ.

>к сожалению в 75 году в процессоре intel забыли поддержать Null
а где можно прочитать подробнее? 🙏

Спасибо

Спасибо большое за ответ

distributed_aggregation_memory_efficient 0
aggregation_memory_efficient_merge_threads 0
memory_tracker_fault_probability 0
max_memory_usage 512000000000
max_memory_usage_for_user 512000000000
max_memory_usage_for_all_queries 512000000000
memory_profiler_step 0

distributed_aggregation_memory_efficient 0
aggregation_memory_efficient_merge_threads 0
memory_tracker_fault_probability 0
max_memory_usage 512000000000
max_memory_usage_for_user 512000000000
max_memory_usage_for_all_queries 512000000000
memory_profiler_step 0

ну вроде на сервере ограничений нет, значит в профиле у пользователя есть

это шутка была.

Я сразу скажу я не программист, программирую только на bash.

Все базы реализовали хранение и представление Null по разному. Например Informix зарезервировал во всех типах одно из значений как Null, а в INT32 нельзя сохранить -4294967295 , потому что этим значением хранится Null. Оракл хранит Null отдельно в битовых массивах. И т.д.

Теперь мы реализуем операцию sum() в КХ и посылаем адрес вектора который надо просуммировать в SSE, и все как бы просто и работает, пока нет Null. И как ни храни, как Null не представляй надо делать какие-то извращения, и писать какие-то if.

у каждого пользователя свои параметры + пользователь может поменять настройки в сессии.

никто вам не поможет разобраться в этом чате. Я таких багов не помню, а читаю весь КХ гитхаб и все чаты.
98% что это в вашем коде, сможете воспроизвести / сделать пример , создавайте bug в гитхабе

system.settings показывает не сервер. А состояние сессии.