Size: a a a

ClickHouse не тормозит

2020 June 17

DT

Dmitry Titov in ClickHouse не тормозит
Roman Skidan
Получилось сделать через эту функцию. Но подскажите, как быть с join? Составил такой запрос: insert into direction
select
   AirlineName,
   Year,
   FlightDate,
   Carrier,
   OriginCityName,
   OriginStateName,
   DestCityName,
   DestStateName
FROM remote('192.168.1.9:9000', 'default', 'ontime') o INNER join remote('192.168.1.9:9000', 'default', 'dict') d on d.AirlineID = o.AirlineID;
Насколько он корректный?
интересный вопрос кстати, вообще хочется что бы заджойнилось на удаленном хосте, но у меня сомнения что оно так заджойнит, а не скачает все на локальный хост
источник

D

Dj in ClickHouse не тормозит
может с view на удаленном хосте сработает?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
может с view на удаленном хосте сработает?
имхо сработает 100%, но это нужно ее там создать еще
источник

DT

Dmitry Titov in ClickHouse не тормозит
либо можно еще сделать через дистрибьютед таблицы.

There are two ways to execute join involving distributed tables:
When using a normal JOIN, the query is sent to remote servers. Subqueries are run on each of them in order to make the right table, and the join is performed with this table. In other words, the right table is formed on each server separately.
источник

v

vladamir in ClickHouse не тормозит
Всем привет! Подскажите, пожалуйста, восстановление одной из трех реплик шарда в кластере сильно аффектит другие реплики этого шарда (много чтений на диски, запросы медленнее отрабатывают), а можно как-то снизить назгрузку при восстановлении, размазывая ее по времени?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Skidan
Получилось сделать через эту функцию. Но подскажите, как быть с join? Составил такой запрос: insert into direction
select
   AirlineName,
   Year,
   FlightDate,
   Carrier,
   OriginCityName,
   OriginStateName,
   DestCityName,
   DestStateName
FROM remote('192.168.1.9:9000', 'default', 'ontime') o INNER join remote('192.168.1.9:9000', 'default', 'dict') d on d.AirlineID = o.AirlineID;
Насколько он корректный?
можно наборот, с хоста источника сделать insert

insert into function remote .... select .... join
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
vladamir
Всем привет! Подскажите, пожалуйста, восстановление одной из трех реплик шарда в кластере сильно аффектит другие реплики этого шарда (много чтений на диски, запросы медленнее отрабатывают), а можно как-то снизить назгрузку при восстановлении, размазывая ее по времени?
можно уменьшить backgroundpool и тогда меньше скачиваний будет одновременно
источник

RS

Roman Skidan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
можно наборот, с хоста источника сделать insert

insert into function remote .... select .... join
спасибо, так тоже сработало. И еще вопрос, есть ли способ залить таким образом с базы источника (MySQL/PostgreSQL) в кликхаус?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Skidan
спасибо, так тоже сработало. И еще вопрос, есть ли способ залить таким образом с базы источника (MySQL/PostgreSQL) в кликхаус?
разово? проще через csv / tsv
источник

RS

Roman Skidan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
разово? проще через csv / tsv
В том тои проблема, что нет. Данные должны переливаться по крону
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Skidan
В том тои проблема, что нет. Данные должны переливаться по крону
КХ умеет ходить в mysql (напрямую) и в pg через odbc
источник

l

lnuynxa in ClickHouse не тормозит
Roman Skidan
В том тои проблема, что нет. Данные должны переливаться по крону
таблицы фактов или так? может вам словари подойдут
источник

RS

Roman Skidan in ClickHouse не тормозит
lnuynxa
таблицы фактов или так? может вам словари подойдут
да, таблица фактов. Словари тут врядли пойдут, мне нужно брать данные из источников, потом уже делать над ними агрегации в кх и выдавать юзерам отчеты
источник

l

lnuynxa in ClickHouse не тормозит
ну тогда движок mysql и odbc для постгри
источник

RS

Roman Skidan in ClickHouse не тормозит
Буду пробовать. Всем спасибо!
источник

DS

Denis Semenov in ClickHouse не тормозит
Добрый день. Можно ли написать COLUMN != 'val' OR COLUMN IS NULL в одно выражение?
источник

l

lnuynxa in ClickHouse не тормозит
Denis Semenov
Добрый день. Можно ли написать COLUMN != 'val' OR COLUMN IS NULL в одно выражение?
вас устроит любое значение колонки кроме val так?
источник

DS

Denis Semenov in ClickHouse не тормозит
lnuynxa
вас устроит любое значение колонки кроме val так?
да. в том числе null
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
COLUMN != 'val' ?
источник

l

lnuynxa in ClickHouse не тормозит
Denis Semenov
да. в том числе null
так если null != val, зачем условие на null?)
источник