SC
чтоб нельзя случайно было сделать date > 0
force_index_by_date
force_primary_key
Size: a a a
2020 September 18
PB
При force_index_by_date=1 ClickHouse проверяет, есть ли в запросе условие на ключ даты, которое может использоваться для отсечения диапазонов данных. Если подходящего условия нет - кидается исключение.
волшебно. похоже, я не дочитал доку. Спасибо :)
DC
При force_index_by_date=1 ClickHouse проверяет, есть ли в запросе условие на ключ даты, которое может использоваться для отсечения диапазонов данных. Если подходящего условия нет - кидается исключение.
волшебно. похоже, я не дочитал доку. Спасибо :)
Это конечно не про даты. А про партиции
SM
force_index_by_date
force_primary_key
force_primary_key
Огонь. Спасибо.
А есть вообще какие то best practices по схеме таблиц с логами?
Таблицы создавались еще давно, и мы уже давно уперлись в 96 ядерные тачки. Сейчас думаю шардить данные и ищу все возможные способы оптимизировать систему.
А есть вообще какие то best practices по схеме таблиц с логами?
Таблицы создавались еще давно, и мы уже давно уперлись в 96 ядерные тачки. Сейчас думаю шардить данные и ищу все возможные способы оптимизировать систему.
PB
но от "where date < today()" оно не защитит. потому что условие есть
SM
но от "where date < today()" оно не защитит. потому что условие есть
но уже хорошо
SM
я например не уверен, что настройки вот такие оптимизированные. (artifact_id, request_id - поля по которым 99% запросов выполняются)
PARTITION BY toDate(timestamp) ORDER BY (artifact_id, request_id)PB
но уже хорошо
согласен. но лично я использую способ, описанный выше, ибо он более универсален
G
ClickHouse/ClickHouse tagged: v20.8.3.18-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.8.3.18-stable
Release notes:
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.8.3.18-stable
Release notes:
v20.8.3.18-stable
I
Всем привет! А какой должна быть секция <tables> у clickhouse-copier, чтобы скопировать целиком все таблицы один-в-один?
EI
Есть ли какая-то функция, чтоб длительность вывести в отформатированном виде? ЧЧ:ММ:СС
DC
Evgen Pr
привет о гуру кликхауса, ткните плз носом в место конфига, где отключить system_querry_logs или ограничить размер этой таблицы, со временем начала занимать очень много места
можно дропать партиции, можно truncate
включается/выключается через параметр log_queries, или в профиле пользователя
<log_queries>0</log_queries>
включается/выключается через параметр log_queries, или в профиле пользователя
<log_queries>0</log_queries>
DC
Eugene Ivlev
Есть ли какая-то функция, чтоб длительность вывести в отформатированном виде? ЧЧ:ММ:СС
в чатике поищите, я нашел такое
select 360001 s, intDiv(s, 3600) h, intDiv(s-3600*h, 60) m, s-3600*h-m*60 ssDC
в смысле готовой функ. нет
S
Всем привет. Кто-нибудь пробовал через pandahouse вставлять данные в колонку с типом fixedstring?
Я в питоне вычисляю md5 для строки и потом хочу его вставить в эту колонку.
При вставке он пишет, что длина строки больше заданной (у меня fixedstring(16)).
Однако, если посчитать в питоне размер:
hashlib.md5('test'.encode('UTF-8')).digest_size
Он будет равен 16
И я не могу понять, либо я тип на вход неправильный подаю (там 'bytes'), либо pandahouse для этой задачи не подходит
Я в питоне вычисляю md5 для строки и потом хочу его вставить в эту колонку.
При вставке он пишет, что длина строки больше заданной (у меня fixedstring(16)).
Однако, если посчитать в питоне размер:
hashlib.md5('test'.encode('UTF-8')).digest_size
Он будет равен 16
И я не могу понять, либо я тип на вход неправильный подаю (там 'bytes'), либо pandahouse для этой задачи не подходит
ну это 16 байт но потом оно к строке приводится к 32 символа
научитесь как то вытаскивать сырое значение а не ASCII представление
научитесь как то вытаскивать сырое значение а не ASCII представление
ДБ
Eugene Ivlev
Есть ли какая-то функция, чтоб длительность вывести в отформатированном виде? ЧЧ:ММ:СС
Попробуйте поигаться с этим https://clickhouse.tech/docs/en/sql-reference/functions/date-time-functions/#formatdatetime
T
Добрый день! Подскажите, как можно глянуть, что пришло в CH на разбор JSONa? есть ощущение, что кривой JSON приходит, но посмотреть не могу, в логах только сама ошибка
EP
можно дропать партиции, можно truncate
включается/выключается через параметр log_queries, или в профиле пользователя
<log_queries>0</log_queries>
включается/выключается через параметр log_queries, или в профиле пользователя
<log_queries>0</log_queries>
Да. Я понял, либо дропать по крону либо выключить
EP
Спасибо
DE
Всем привет, проблемы с дедупликацией в ReplicatedMergeTree. Выставляем короткий replicated_deduplication_window_seconds=600 ( и в некоторых экспериментах на 60), потому что в таблицу действительно могут через некоторое небольшое время вставляться идентичные блоки данных и это ок. Через десятки минут и даже часов после первой вставки, метаинформация о вставленных блоках не исчезает и блоки по-прежнему дедуплицируются. В зукипере соответствующие ноды не удаляются. В логах сообщений об ошибках с
ReplicatedMergeTreeCleanupThread на этой таблице нет. Версия CH 20.6.4.44.