OA
какая ошибка-то?
java.net.SocketException: Connection reset.
Size: a a a
2020 May 30
SC
а как коннектишься?
SC
к кликхаусу в я.облаке можно подключится только c SSL
SC
можно посмотреть сюда https://cloud.yandex.ru/docs/managed-clickhouse/operations/connect и попробовать аналогично настроить
D
Всем привет! Помогите, пожалуйста, эксперты кликсахауса.
Была материализованная вьюха mv_table_name. В ней 1 млрд записей. DDL выглядел как:
Была материализованная вьюха mv_table_name. В ней 1 млрд записей. DDL выглядел как:
D
CREATE MATERIALIZED VIEW {mv_table_name}
ON CLUSTER '{cluster}' ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/{mv_table_name}',
'{replica}')
PARTITION BY toYYYYMM(DATE)
ORDER BY ts_captured
select
...
visitParamExtractString(data, 'type1') as type1,
visitParamExtractString(data, 'type2') as type2,
visitParamExtractString(data, 'field1') as field1,
visitParamExtractString(data, 'field2') as field2,
visitParamExtractString(data, 'field3') as field3
...
from {table_name}D
В целях оптимизации запросов, которые обращались к этой вьюхе, я решил добавить в нее несколько партиций и ключей сортировки,
и она должна выглядеть теперь так:
и она должна выглядеть теперь так:
D
CREATE MATERIALIZED VIEW {mv_table_name}
ON CLUSTER '{cluster}' ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/{mv_table_name}',
'{replica}')
PARTITION BY (toYYYYMMDD(DATE), type1, type2)
ORDER BY (field1, field2, field3)
AS
select
...
visitParamExtractString(data, 'type1') as type1,
visitParamExtractString(data, 'type2') as type2,
visitParamExtractString(data, 'field1') as field1,
visitParamExtractString(data, 'field2') as field2,
visitParamExtractString(data, 'field3') as field3
...
from {table_name}D
Заливка данных из таблицы {table_name} в новую вьюху за один день для 30 млн записей занимает полчаса (запрос вида insert into select from). Полностью вьюха будет заливаться
больше суток. Я не хочу, чтобы наши клиенты теряли на такой срок доступ к данным. Связи с этим хочу спросить:
1) Можно ли добавить в существующую mv новые партиции и ключи сортировки?
2) Можно ли безболезненно переименовать mv и как лучше это сделать?
3) Можно ли как-то ускорить скорость вставки данных в моем случае?
больше суток. Я не хочу, чтобы наши клиенты теряли на такой срок доступ к данным. Связи с этим хочу спросить:
1) Можно ли добавить в существующую mv новые партиции и ключи сортировки?
2) Можно ли безболезненно переименовать mv и как лучше это сделать?
3) Можно ли как-то ускорить скорость вставки данных в моем случае?
OA
к кликхаусу в я.облаке можно подключится только c SSL
Вот так + на вкладке SSL поставил галку SSL и подсунул CA сертификат
SC
обратитесь в поддержку облака
D
1. Orderby да., старые данные останутся как были https://clickhouse.tech/docs/en/sql-reference/statements/alter/#manipulations-with-key-expressions
Но оно не всегда срабатывало, раньше.
Partition key - нет
2. Merge engine попробуйте, пользователи могут ходить в одно и тоже, а вы подставлять что вам нужно.
3. Insert select?
https://clickhouse.tech/docs/en/operations/settings/settings/#settings-max-insert-threads
На новых версиях
Но оно не всегда срабатывало, раньше.
Partition key - нет
2. Merge engine попробуйте, пользователи могут ходить в одно и тоже, а вы подставлять что вам нужно.
3. Insert select?
https://clickhouse.tech/docs/en/operations/settings/settings/#settings-max-insert-threads
На новых версиях
D
Заливка данных из таблицы {table_name} в новую вьюху за один день для 30 млн записей занимает полчаса (запрос вида insert into select from). Полностью вьюха будет заливаться
больше суток. Я не хочу, чтобы наши клиенты теряли на такой срок доступ к данным. Связи с этим хочу спросить:
1) Можно ли добавить в существующую mv новые партиции и ключи сортировки?
2) Можно ли безболезненно переименовать mv и как лучше это сделать?
3) Можно ли как-то ускорить скорость вставки данных в моем случае?
больше суток. Я не хочу, чтобы наши клиенты теряли на такой срок доступ к данным. Связи с этим хочу спросить:
1) Можно ли добавить в существующую mv новые партиции и ключи сортировки?
2) Можно ли безболезненно переименовать mv и как лучше это сделать?
3) Можно ли как-то ускорить скорость вставки данных в моем случае?
^^^
SC
разве jdbc драйвер не по HTTP коннектится?
DT
разве jdbc драйвер не по HTTP коннектится?
по http
DT
а поставь порт 8443
OA
а поставь порт 8443
пробовал, результат такой же
DT
https://cloud.yandex.ru/docs/managed-clickhouse/operations/connect
отсюда пробывал подключатся с помощь гайда по curl?
отсюда пробывал подключатся с помощь гайда по curl?
DT
Внутри Яндекс.Облака подключиться к кластеру БД можно только с виртуальной машины, подключенной к той же подсети, что и кластер.
DT
ты по vpn подключился к сети в облаке или нет?