DC
КХ навсегда забыл про /var/lib/clickhouse/shadow/1/data/default/S/all_1_1_0/
Он удалил (с задержкой 8мин.) свой inactive парт all_1_1_0 после того как все из него перелил в all_1_3_1
Size: a a a
2020 July 11
K
то есть в shadow остается более не трогающийся парт all_1_1_0
А живой теперь all_1_3_1?
А живой теперь all_1_3_1?
DC
то есть в shadow остается более не трогающийся парт all_1_1_0
А живой теперь all_1_3_1?
А живой теперь all_1_3_1?
да
K
смотрите видео https://www.youtube.com/watch?v=PLMSA_gDdyM
ок, спасибо)
K
спасибо большое за разъяснения
AP
смотрите видео https://www.youtube.com/watch?v=PLMSA_gDdyM
Есть пост на Хабре по докладу https://habr.com/ru/post/509540/
S
Ок, получается при резервировании партиции, не фиксируется состояние на тот момент времени? Если вставка 1 инсерт в секунду, к примеру, то получается через секунду после окончания резервирования каталог в shadow тоже изменится и будет содержать уже новые данные?
В момент фриз все куски уже иммутабельны
Хардлинк просто не дает ос удалить файлы физически
Хардлинк просто не дает ос удалить файлы физически
S
То есть те данные, что я зарезервировал, и то что заберу из shadow позже - будет разными данными?
Одними и теми же
DV
а есть ли возможность вывести физически близкие строки (например по главному индексу), которые находятся рядом с какой-то строкой?
S
а есть ли возможность вывести физически близкие строки (например по главному индексу), которые находятся рядом с какой-то строкой?
Asof join?
Понятие физически близкие в sql не сцществует
Понятие физически близкие в sql не сцществует
DV
Asof join?
Понятие физически близкие в sql не сцществует
Понятие физически близкие в sql не сцществует
я понимаю что sql выше этого.
но по факту: да я храню неструктруированые и структуированные логи в clickhouse.
по нормализованым логам вопросов нет.
вопрос найти в неструктруированых какое либо событие и показать строки рядом (ну класический пример - трейс какого либо приложения в логе)
но по факту: да я храню неструктруированые и структуированные логи в clickhouse.
по нормализованым логам вопросов нет.
вопрос найти в неструктруированых какое либо событие и показать строки рядом (ну класический пример - трейс какого либо приложения в логе)
S
Ну прочитайте про asof join может это ваш кейс
AP
я понимаю что sql выше этого.
но по факту: да я храню неструктруированые и структуированные логи в clickhouse.
по нормализованым логам вопросов нет.
вопрос найти в неструктруированых какое либо событие и показать строки рядом (ну класический пример - трейс какого либо приложения в логе)
но по факту: да я храню неструктруированые и структуированные логи в clickhouse.
по нормализованым логам вопросов нет.
вопрос найти в неструктруированых какое либо событие и показать строки рядом (ну класический пример - трейс какого либо приложения в логе)
А как вы храните неструктурированные логи?
DV
Ну прочитайте про asof join может это ваш кейс
ASOF JOIN принимает метку времени пользовательского события из table_1 и находит такое событие в table_2 метка времени которого наиболее близка к метке времени события из table_1 в соответствии с условием на ближайшее совпадение.
спасибо, посмотрю
DV
Anton Patsev
А как вы храните неструктурированные логи?
тупо в лоб 🙂
поле log и кое-какие тэги (app, team, pod, node - речь про куб).
поле log и кое-какие тэги (app, team, pod, node - речь про куб).
AP
тупо в лоб 🙂
поле log и кое-какие тэги (app, team, pod, node - речь про куб).
поле log и кое-какие тэги (app, team, pod, node - речь про куб).
Словарь получается? Ну или что то наподобие словаря? Можно ли увидеть пример?
DV
pod/node - это уже никак не словари 🙁 они постоянно меняются.
не знаю что показывать, это не ноухау, тупо в лоб:
не знаю что показывать, это не ноухау, тупо в лоб:
CREATE TABLE logs
(
time DateTime,
unix_nano Int64,
log String,
stream String,
container String,
namespace String,
pod String,
host String,
app String,
team String,
labels Nested (
key String,
value String
)
) ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(time)
ORDER BY (time, team, app, namespace, container, pod)
PRIMARY KEY (time, team, app, namespace, container, pod);AP
pod/node - это уже никак не словари 🙁 они постоянно меняются.
не знаю что показывать, это не ноухау, тупо в лоб:
не знаю что показывать, это не ноухау, тупо в лоб:
CREATE TABLE logs
(
time DateTime,
unix_nano Int64,
log String,
stream String,
container String,
namespace String,
pod String,
host String,
app String,
team String,
labels Nested (
key String,
value String
)
) ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(time)
ORDER BY (time, team, app, namespace, container, pod)
PRIMARY KEY (time, team, app, namespace, container, pod);Вроде структура же есть. Прошу прощения. Наверное я что то не понимаю
DC
pod/node - это уже никак не словари 🙁 они постоянно меняются.
не знаю что показывать, это не ноухау, тупо в лоб:
не знаю что показывать, это не ноухау, тупо в лоб:
CREATE TABLE logs
(
time DateTime,
unix_nano Int64,
log String,
stream String,
container String,
namespace String,
pod String,
host String,
app String,
team String,
labels Nested (
key String,
value String
)
) ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(time)
ORDER BY (time, team, app, namespace, container, pod)
PRIMARY KEY (time, team, app, namespace, container, pod);была такая фича indexHint, не работала к сожалению.
но вообще в вашем случае просто надо time задавать диапазоном + - 5мин. если ничего не вернулось, расширять диапазон, програмно, на стороне клиента
но вообще в вашем случае просто надо time задавать диапазоном + - 5мин. если ничего не вернулось, расширять диапазон, програмно, на стороне клиента
DV
Anton Patsev
Вроде структура же есть. Прошу прощения. Наверное я что то не понимаю
log - не распаршен и хранится как string, имею ввиду