Y
Если действительно постоянно нужно искать по логам, то наверное ElasticSearch становится не таким уж плохим вариантом :)
Size: a a a
2020 July 25
Y
Ну и ещё вопрос в цене хранения данных: когда логов сотни терабайт или единицы петабайт, выбор часто делается в пользу более экономичных вариантов :)
SC
понятненько
SC
у меня просто нет неструктурированных логов в кх
SC
если известны паттерны логов, то можно попробовать парсить перед вставкой в кх
SC
но это только если очень хочется
ТМ
Всем привет! Можно ли сохранять результат запроса напрямую в файл на s3 из Кликхауса? Есть ли некое подобие редшифтовой функции unload? Если нет, то какие могут быть альтернативные пути? Заранее спасибо.
DC
Тахир Мусин
Всем привет! Можно ли сохранять результат запроса напрямую в файл на s3 из Кликхауса? Есть ли некое подобие редшифтовой функции unload? Если нет, то какие могут быть альтернативные пути? Заранее спасибо.
insert into table function s3('http://{}:{}/{}/{}', {}'CSV', '{}')
S
При сканировании сети доступен порт tcp/2181? Скорее всего это ZooKeeper - распределенное иерархическое key-value хранилище. Он часто используется для отказоустойчивого хранения конфигураций и сериализованых объектов. Пример эксплуатации уязвимости в ClickHouse через ZooKeeper.
VM
А когда clickhouse пишет "Processed 2.23 million rows, 1.49GB" - 1.49GB это реально сколько прочитано с диска или оценка размера всех колонок? 1.49GB выглядит как нереально много + выполняется запрос слишком быстро - прочитать 1.5GB ClickHouse явно не успеет за это время.
Y
Vladimir Mihailenco
А когда clickhouse пишет "Processed 2.23 million rows, 1.49GB" - 1.49GB это реально сколько прочитано с диска или оценка размера всех колонок? 1.49GB выглядит как нереально много + выполняется запрос слишком быстро - прочитать 1.5GB ClickHouse явно не успеет за это время.
Это объем сырых данных, т.е. это сколько после разжатия получилось
VM
если это реально столько читается то тогда следующий вопрос
VM
Есть 2 одинаковых запроса которые отличаются только именем колонки для выборки
SELECT uint FROM table WHERE ... ORDER BY ... LIMIT 10 - Processed 2.23 million rows, 30MB
SELECT wide_column FROM table WHERE ... ORDER BY ... LIMIT 10 - Processed 2.23 million rows, 1.49GB
Я пытаюсь понять почему 2ой запрос читает так много. Размер wide_column где-то 2-3кб.
SELECT uint FROM table WHERE ... ORDER BY ... LIMIT 10 - Processed 2.23 million rows, 30MB
SELECT wide_column FROM table WHERE ... ORDER BY ... LIMIT 10 - Processed 2.23 million rows, 1.49GB
Я пытаюсь понять почему 2ой запрос читает так много. Размер wide_column где-то 2-3кб.
VM
Т.е. я ожидаю что он сначала отфильтрует 10 row и прочитает ну пускай 20-30 тысяч записей
VM
wide_column в фильтрации не участвует - ее можно в самом конце выбрать
AZ
А в первом ордер у вас есть?
AZ
А, вижу, сорри
WA
Добрый день
Есть одна таблица из 200М записей с движком ReplacingMergeTree
Зависает запросе select * from tabname limit 1, но если добавить любое условие, то отрабатывает.
Кто-то с таким сталкивался? Куда копать?
Есть одна таблица из 200М записей с движком ReplacingMergeTree
Зависает запросе select * from tabname limit 1, но если добавить любое условие, то отрабатывает.
Кто-то с таким сталкивался? Куда копать?
AZ
Vladimir Mihailenco
wide_column в фильтрации не участвует - ее можно в самом конце выбрать
А можете все же полные запросы скинуть? Кол-во данных как раз сходится, раз wide_column больше в 1000 раз, то и данных читает больше в такое же по порядку число раз.
Быть может uint/wide_column в сортировке участвуют?
Быть может uint/wide_column в сортировке участвуют?
VM
нет, не участвуют