Size: a a a

ClickHouse не тормозит

2020 May 19

NP

Nikolay Pekaln in ClickHouse не тормозит
RVR
действительно оказалось что для SELECT либа почему-то использует GET. А нет возможности изменить предел GET в CH? Технически то разницы особо нет
Эээ... никогда мне в голову не приходила мысль использовать для http интерфейса CH какую-то левую либу!
источник

R

RVR in ClickHouse не тормозит
Nikolay Pekaln
Эээ... никогда мне в голову не приходила мысль использовать для http интерфейса CH какую-то левую либу!
Надо быстро-быстро прям вчера аналитику было, а готовой небыло :)
источник

R

RVR in ClickHouse не тормозит
Придется быстро сваять, че теперь ....
источник

EL

Evgeniy Leko in ClickHouse не тормозит
Документация лежит? https://clickhouse.tech/docs/en/
источник

R

RVR in ClickHouse не тормозит
+
источник

AL

Alexey Likutov in ClickHouse не тормозит
Al T
а зачем хранить сами ответы в базе (да и еще и в разных форматах) вы по ним ищете?
Это наверное мне меншн был
У нас агргегатор партнёрских программ
интеграция с партнерками представляет собой опрос почти 300 апишек раз в час. В среднем получается 25000 запросов в час
Все эти партнёрки разношёрстные - у кого то есть человеческий апи, у кого то xml, у кого то csv, у кого то вообще приходится парсить html
Ответы приходится хранить, чтобы в случае возникновения ошибки бизнес-аналитик мог бы глазами пробежать ответ и сказать, что вот тут апи изменилось\аккаунт заблокирован\партнёрка недоступна
источник

A

Alex in ClickHouse не тормозит
Алишер Фозилов
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/internal_logs', '{replica}')

эту строку заменить на:

ENGINE = MergeTree()
спасибо
источник

NP

Nikolay Pekaln in ClickHouse не тормозит
RVR
Придется быстро сваять, че теперь ....
Одной строчкой:
json.loads(requests.post(addr, params={'query': sql_1 + ' FORMAT JSON'}).content)['data']
источник

AV

Anton Vershinin in ClickHouse не тормозит
Nikolay Pekaln
Одной строчкой:
json.loads(requests.post(addr, params={'query': sql_1 + ' FORMAT JSON'}).content)['data']
requests.post(addr, params={'query': sql_1 + ' FORMAT JSON'}).json()['data']
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, а подскажите как лучше всего скопировать данные из одного кликхауса в другой?

Сразу скажу что КХ, из которого нужно копировать — одна нода без зукипера. А дестинейшн — 2 ноды с зукипером
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, а подскажите как лучше всего скопировать данные из одного кликхауса в другой?

Сразу скажу что КХ, из которого нужно копировать — одна нода без зукипера. А дестинейшн — 2 ноды с зукипером
главное не в csv, используй нативный формат
источник

S

Shazo in ClickHouse не тормозит
Если в пустые таблицы с зукипером и с одним шардом
FREEZE, rsync  в detach на новую ноду, ATTACH
источник

МЮ

Макс Юю in ClickHouse не тормозит
подскажите пожалуйста в чем ошибка
при создании таблицы
code: 62, message: Syntax error: failed at position 270 (line 10, col 1): ) ENGINE = MergeTree() ORDER BY (object_type, object_id, time) SETTINGS index_granularity = 8192;
. Expected one of: column declaration, INDEX, identifier, column or index declaration
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
почитай в доке про создание таблиц
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
ну и весь запрос дай
источник

S

Shazo in ClickHouse не тормозит
Макс Юю
подскажите пожалуйста в чем ошибка
при создании таблицы
code: 62, message: Syntax error: failed at position 270 (line 10, col 1): ) ENGINE = MergeTree() ORDER BY (object_type, object_id, time) SETTINGS index_granularity = 8192;
. Expected one of: column declaration, INDEX, identifier, column or index declaration
А если в order by без скобок?
источник

МЮ

Макс Юю in ClickHouse не тормозит
CREATE TABLE log (
   `object_type` String,
   `object_id` Int64,
   `time` DateTime,
) ENGINE = MergeTree() ORDER BY (object_type, object_id, time) SETTINGS index_granularity = 8192;
источник

МЮ

Макс Юю in ClickHouse не тормозит
Денис Устинов
почитай в доке про создание таблиц
уже полчаса гуглю и чет не понимаю чем ему индексы не нравятся
источник

S

Shazo in ClickHouse не тормозит
Shazo
А если в order by без скобок?
протупил, нет не в этом дело
источник

S

Shazo in ClickHouse не тормозит
Макс Юю
CREATE TABLE log (
   `object_type` String,
   `object_id` Int64,
   `time` DateTime,
) ENGINE = MergeTree() ORDER BY (object_type, object_id, time) SETTINGS index_granularity = 8192;
не припомню, а запятая в последней колонке?
источник