Size: a a a

ClickHouse не тормозит

2021 January 31

I

Ildar in ClickHouse не тормозит
Die Nachtigall
Так выглядит директория со свежим бэкапом.
а этот бекап сделан при помощи clickhouse-backup?
источник

D

Die Nachtigall in ClickHouse не тормозит
Ildar
а этот бекап сделан при помощи clickhouse-backup?
Да, 0.6.3. Но не контейнером.
источник

I

Ildar in ClickHouse не тормозит
источник

D

Die Nachtigall in ClickHouse не тормозит
Возможно проблема в пути.
По дефолту он ищет базу в /var/lib/clickhouse/data/${database}/
Хотя странно.
источник

I

Ildar in ClickHouse не тормозит
Die Nachtigall
Возможно проблема в пути.
По дефолту он ищет базу в /var/lib/clickhouse/data/${database}/
Хотя странно.
она там есть
источник

I

Ildar in ClickHouse не тормозит
никаких ошибок в логах нет
источник

D

Die Nachtigall in ClickHouse не тормозит
источник

D

Die Nachtigall in ClickHouse не тормозит
Тут советуют запустить бэкап изнутри контейнера.
источник

AK

Anton Khokhrin in ClickHouse не тормозит
Ildar
Добрый вечер! Может кто сталкивался с таким уже, создал бекап через при контейнер alexakulov/clickhouse-backup - тут вроде все ок, а при попытке восстановить(через restore) выдает - 2021/01/31 15:41:34 stat /var/lib/clickhouse/backup/backup_2021-01-31T15-40-43/metadata: no such file or directory
источник

I

Ildar in ClickHouse не тормозит
Die Nachtigall
Тут советуют запустить бэкап изнутри контейнера.
запустил внутри контейнера ничего не изменилось, также нет metadata
источник

I

Ildar in ClickHouse не тормозит
не похоже
источник

I

Ildar in ClickHouse не тормозит
ClickHouse server version 20.12.5.14 (official build).
clickhouse-backup 0.6.3
engine ReplicatedReplacingMergeTree
источник

SB

Serge Bash in ClickHouse не тормозит
Привет!
Вставляю данные из файла TSV - там строки в двойных кавычках — они так с кавычками и попадают в КХ. Можно с этим что-то подкрутить в параметрах импорта? Или только переход на одинарный кавычки в исходных файлах спасёт отца русской демократии?
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Возможно есть какой то параметр у clickhouse-client, но мне на ум приходит простой sed аля
cat file.tsv | sed 's/\"/\'/g'
источник
2021 February 01

m

mrAndersen in ClickHouse не тормозит
Кто нибудь сталкивался с такой проблемой? При записи в MATERIALIZED VIEW

CREATE MATERIALIZED VIEW tracking_hour
           (
            `date` Date,
            `datetime` DateTime,
            `appId` String,
            `event` UInt32,
            `priceId` UInt32,
            `bannerId` UInt32,
            `count` AggregateFunction(count, String),
            `uniq` AggregateFunction(uniq, String),
            `avgBid` AggregateFunction(avg, Nullable(Float64)),
            `maxBid` AggregateFunction(max, Nullable(Float64))
               )
           ENGINE = AggregatingMergeTree()
               ORDER BY (date, datetime, appId, event, priceId, bannerId)
AS
SELECT toDate(datetime)        AS date,
      toStartOfHour(datetime) AS hour,
      appId,
      event,
      priceId,
      bannerId,
      countState(uuidId)      AS count,
      uniqState(uuidId)       AS uniq,
      avgState(bid)           AS avgBid,
      maxState(bid)           AS maxBid
FROM tracking_distributed
GROUP BY date,
        hour,
        appId,
        event,
        priceId,
        bannerId;

Вот такого вида, datetime который внутри агрегатной таблицы всегда 1970 год, 0 секунд с начала эпохи. При этом селект которым наполняется таблица выдает правильные значения
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ildar
Добрый вечер! Может кто сталкивался с таким уже, создал бекап через при контейнер alexakulov/clickhouse-backup - тут вроде все ок, а при попытке восстановить(через restore) выдает - 2021/01/31 15:41:34 stat /var/lib/clickhouse/backup/backup_2021-01-31T15-40-43/metadata: no such file or directory
Не поддерживаются свежие кх. Из-за atomic и симлинков
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Serge Bash
Привет!
Вставляю данные из файла TSV - там строки в двойных кавычках — они так с кавычками и попадают в КХ. Можно с этим что-то подкрутить в параметрах импорта? Или только переход на одинарный кавычки в исходных файлах спасёт отца русской демократии?
В tsv строки вообще кавычек
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
mrAndersen
Кто нибудь сталкивался с такой проблемой? При записи в MATERIALIZED VIEW

CREATE MATERIALIZED VIEW tracking_hour
           (
            `date` Date,
            `datetime` DateTime,
            `appId` String,
            `event` UInt32,
            `priceId` UInt32,
            `bannerId` UInt32,
            `count` AggregateFunction(count, String),
            `uniq` AggregateFunction(uniq, String),
            `avgBid` AggregateFunction(avg, Nullable(Float64)),
            `maxBid` AggregateFunction(max, Nullable(Float64))
               )
           ENGINE = AggregatingMergeTree()
               ORDER BY (date, datetime, appId, event, priceId, bannerId)
AS
SELECT toDate(datetime)        AS date,
      toStartOfHour(datetime) AS hour,
      appId,
      event,
      priceId,
      bannerId,
      countState(uuidId)      AS count,
      uniqState(uuidId)       AS uniq,
      avgState(bid)           AS avgBid,
      maxState(bid)           AS maxBid
FROM tracking_distributed
GROUP BY date,
        hour,
        appId,
        event,
        priceId,
        bannerId;

Вот такого вида, datetime который внутри агрегатной таблицы всегда 1970 год, 0 секунд с начала эпохи. При этом селект которым наполняется таблица выдает правильные значения
У вас поле называется в таблице datetime а в селекте hour . MV заполняется по именам полей.

Плюс вы можете сильно сэкономить на state. Теперь можно использовать simpleaggregatefunction
источник

m

mrAndersen in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
У вас поле называется в таблице datetime а в селекте hour . MV заполняется по именам полей.

Плюс вы можете сильно сэкономить на state. Теперь можно использовать simpleaggregatefunction
Точно! Спасибо!
источник

m

mrAndersen in ClickHouse не тормозит
Сэкономить при выборке countMerge ? Или при вставке?
источник