Size: a a a

ClickHouse не тормозит

2020 May 17

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
Привет! Как сделать чтобы работал mat view так:
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
Я попробовал в лоб настроить и трииггер не срабатывает при вставке в MergingTree во вторую таблицу. Кто нибудь пробовал так настраивать mat view?
источник

S

Shazo in ClickHouse не тормозит
matview вставляет лишь в одну таблицу. Вы можете сделать 3 mv для 3ех таблиц с разным уровнем агрегации.

Вроде и каскадные matview завезли, номежду target таблицами вам нужно также mv.
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
да там есть MV
источник

S

Shazo in ClickHouse не тормозит
Объемы большие чтобы просто сделать 3 MV на source table?
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
возможно что это работает только при вставке в distributed table
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
Shazo
Объемы большие чтобы просто сделать 3 MV на source table?
там MV кой чего вычисляет и не хочется это 3 раза делать
источник

S

Shazo in ClickHouse не тормозит
вставку в distributed вообще стоит избегать по мне.
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
кроме того в моем случае у меня все target table содержат идентичные данные
источник

cl

cya later in ClickHouse не тормозит
Добрый день, товарищи!

Тут кто-нибудь работает с КХ через node.js?

Все установил, коннектится через isql, ручные запросы идут.

Делаю:

async function connectToDatabase() {
   const connection = await odbc.connect('DSN=ClickHouse DSN (ANSI)');
   console.log("connection is open");
}

connectToDatabase();


Результат: все ок.

Делаю:

const connection = odbc.connect('DSN=ClickHouse DSN (ANSI)', (error, connection) => {
   connection.query('SELECT * FROM test.test_table', (error, result) => {
       if (error) { console.error(error) }
       console.log(result);
   });
});


Результат:

[Error: [odbc] Error retrieving the result set from the statement] {
 odbcErrors: [
   {
     state: 'HY090',
     code: 1,
     message: 'Invalid string or buffer length'
   }
 ]
}
undefined
Segmentation fault (core dumped)


В какую сторону копать?
источник

cl

cya later in ClickHouse не тормозит
Использую этот интерфейс

https://github.com/markdirish/node-odbc/

для unixODBC
источник

S

Slach in ClickHouse не тормозит
Alex
спасибо. а есть смысл использовать kittenhouse?
вполне можно использовать
если есть шанс что связь между коллектором и clickhouse прервется и надо копить данные на коллекторе
источник

S

Shazo in ClickHouse не тормозит
Алексей @Bloxy.info Studnev
кроме того в моем случае у меня все target table содержат идентичные данные
а на какую таблицу нацелевали последующие mv? ту что тригерная или где данные физически хранятся?
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Alex
https://github.com/VKCOM/kittenhouse

CREATE TABLE default.internal_logs (
 date Date DEFAULT toDate(time),
 time DateTime,
 server String,
 port Int32,
 type String,
 table String,
 volume Int64,
 message String,
 content String,
 source String,
 server_time DateTime DEFAULT now()
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/internal_logs', '{replica}')
PARTITION BY tuple()
ORDER BY time
SETTINGS index_granularity = 8192;

вот на этой команде ошибка
ну так логично, он хочет реплицированную таблицу сделать
источник

S

Slach in ClickHouse не тормозит
cya later
Добрый день, товарищи!

Тут кто-нибудь работает с КХ через node.js?

Все установил, коннектится через isql, ручные запросы идут.

Делаю:

async function connectToDatabase() {
   const connection = await odbc.connect('DSN=ClickHouse DSN (ANSI)');
   console.log("connection is open");
}

connectToDatabase();


Результат: все ок.

Делаю:

const connection = odbc.connect('DSN=ClickHouse DSN (ANSI)', (error, connection) => {
   connection.query('SELECT * FROM test.test_table', (error, result) => {
       if (error) { console.error(error) }
       console.log(result);
   });
});


Результат:

[Error: [odbc] Error retrieving the result set from the statement] {
 odbcErrors: [
   {
     state: 'HY090',
     code: 1,
     message: 'Invalid string or buffer length'
   }
 ]
}
undefined
Segmentation fault (core dumped)


В какую сторону копать?
можно попробовать через MySQL протокол к clickhouse цепляться
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-mysql_port
источник

cl

cya later in ClickHouse не тормозит
Спасибо, буду пробовать.
источник

S

Shazo in ClickHouse не тормозит
Алексей @Bloxy.info Studnev
кроме того в моем случае у меня все target table содержат идентичные данные
судя по всему оно должно работать, но в определенных версиях есть проблемы.
источник

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
Shazo
а на какую таблицу нацелевали последующие mv? ту что тригерная или где данные физически хранятся?
спасибо, это я протупил. Заработало
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Всем привет, решил уйти от касандры и перейти на ClickHouse очень понравилась скорость выборки и вставки, вполне хорошо живет на больших вставках. но возник вопрос, я решил добавить в свою табличку дополнительный индекс, но как это сделать мануалов нет. хоть кто-то смог открыть завесу синтаксиса как добавить новый индекс для к примеру поиска текста, акромя удаления всей таблицы и созданя новой с нужным индексом?
источник