DC
bytes_on_disk data_compressed_bytes data_uncompressed_bytes -- это тоже самое что и в system.partsSize: a a a
2020 May 19
DC
SELECT
partition,
column,
sum(data_compressed_bytes) AS sz
FROM system.parts_columns
WHERE (partition = '202004') AND (table = 'impressions') AND active
GROUP BY
partition,
column
ORDER BY sz DESC
Все равно сумма такая как будто group by не написан получается
column_data_compressed_bytes column_data_uncompressed_bytes
column_bytes_on_disk
column_bytes_on_disk
A
bytes_on_disk data_compressed_bytes data_uncompressed_bytes -- это тоже самое что и в system.partsага, теперь оно, спс
SELECT
partition,
column,
formatReadableSize(sum(column_bytes_on_disk) as sz)
FROM system.parts_columns
WHERE (partition = '202004') AND (table = 'impressions') AND active
GROUP BY
partition,
column
ORDER BY sz DESC
A
мда, только упорядочивать надо не по отформатированному)
A
думал там есть оверрайд сортировки по отформатированным размерам, оказалось просто по строкам
DC
ага, теперь оно, спс
SELECT
partition,
column,
formatReadableSize(sum(column_bytes_on_disk) as sz)
FROM system.parts_columns
WHERE (partition = '202004') AND (table = 'impressions') AND active
GROUP BY
partition,
column
ORDER BY sz DESC
formatReadableSize(sum(column_bytes_on_disk) as x) AS sz...
ORDER BY x DESCDC
какой еще оверрайд, это обычный sql, получили строку на выходе функции, сотрируем по строке
A
Мало ли это дополненный sql, а formatReadableSize возвращает не обычную строку, а тип Строка-размер. Всякое бывает)
МП
добрейшего времени суток, кто-то пробовал использовать таблицы в clickHouse чтобы оттуда продюсить данные в топики kafka? через что лучше реализовывать такое?
DC
Модина Питон
добрейшего времени суток, кто-то пробовал использовать таблицы в clickHouse чтобы оттуда продюсить данные в топики kafka? через что лучше реализовывать такое?
непонятно про что вопрос. КХ engine=Kafka умеет быть продьюсером, просто делаете insert into kafka_table select * from other_table
МП
непонятно про что вопрос. КХ engine=Kafka умеет быть продьюсером, просто делаете insert into kafka_table select * from other_table
тьфу.. чет проглядел это, спасибо!
ДК
Всем доброго времени суток. Люди, подскажите, как вы парсите user_agent?) Собираем access логи nginx с балансеров в кх, ua в строке. Захотелось собственной аналитики по используемым браузерам - не знаем, как было бы правильней обработать поле
YV
Всем доброго времени суток. Люди, подскажите, как вы парсите user_agent?) Собираем access логи nginx с балансеров в кх, ua в строке. Захотелось собственной аналитики по используемым браузерам - не знаем, как было бы правильней обработать поле
У нас DBA в своё время просто справочник сделали и при засасывании логов меняли найденный UA на его ID. Но это SQL-way.. В кх типа нету полноценного FullText index'a, но многие уже реализовали что-то похожее. Тут можно попробовать поискать.
A
Всем доброго времени суток. Люди, подскажите, как вы парсите user_agent?) Собираем access логи nginx с балансеров в кх, ua в строке. Захотелось собственной аналитики по используемым браузерам - не знаем, как было бы правильней обработать поле
Есть много разных библиотек на том же гитхабе для парсинга юзер агента.)
ДК
У нас DBA в своё время просто справочник сделали и при засасывании логов меняли найденный UA на его ID. Но это SQL-way.. В кх типа нету полноценного FullText index'a, но многие уже реализовали что-то похожее. Тут можно попробовать поискать.
Интересное решение. Но словарь же весьма здоровый получится...
AP
А имеется ли возможность сделать синхронный alter table?
Мне надо дропнуть партицию и заново налить её, хочу убедиться, что новые данные не попадут под действие drop partition
Мне надо дропнуть партицию и заново налить её, хочу убедиться, что новые данные не попадут под действие drop partition
C
А имеется ли возможность сделать синхронный alter table?
Мне надо дропнуть партицию и заново налить её, хочу убедиться, что новые данные не попадут под действие drop partition
Мне надо дропнуть партицию и заново налить её, хочу убедиться, что новые данные не попадут под действие drop partition
detach и дропнуть вручную?
ДК
Есть много разных библиотек на том же гитхабе для парсинга юзер агента.)
С учетом того, что у нас уже парсингом и инсертами занимается go, самое очевидное решение - прикрутить туда же готовый uap-go) Я просто не уверен в правильности этого решения, так как во всех примерах в кх пишется полная строка ua, а так же он существенно замедляет работу сервиса
AP
detach и дропнуть вручную?
в смысле, после detach можно сделать асинронный drop, а там временем начать наливать?
AP
в целом я нашел replication_alter_partitions_sync, но идея клевая