DR
в какую сторону хоть капать ? 🙈
Size: a a a
2020 July 02
ДГ
У кого-то есть ссылка на статью или какой-то пример, как возможно через спарк заливать nested структуры в clickhouse? Выглядит, что такое не возможно (
w
Всем привет.
Подскажите, пожалуйста.
Есть кластер из нескольких шардов и реплик.
Есть таблица и ее distributed-версия.
Добавляю колонку к таблице с помощью
Дальше мне нужно заполнить колонку.
Где запускать SQL-скрипт для заполнения?
Это возможно как то сделать "на кластер", или нужно запускать на каждом шарде по отдельности?
Подскажите, пожалуйста.
Есть кластер из нескольких шардов и реплик.
Есть таблица и ее distributed-версия.
Добавляю колонку к таблице с помощью
alter table on cluster ... add column ...Дальше мне нужно заполнить колонку.
Где запускать SQL-скрипт для заполнения?
Это возможно как то сделать "на кластер", или нужно запускать на каждом шарде по отдельности?
AM
У кого-то есть ссылка на статью или какой-то пример, как возможно через спарк заливать nested структуры в clickhouse? Выглядит, что такое не возможно (
nested это по сути одноувровневые массивы, поэтому на стороне приложения можно просто перед вставкой разбить на несколько массивов, главное чтоб количество элементов совпадало
VS
Всем привет.
Подскажите, пожалуйста.
Есть кластер из нескольких шардов и реплик.
Есть таблица и ее distributed-версия.
Добавляю колонку к таблице с помощью
Дальше мне нужно заполнить колонку.
Где запускать SQL-скрипт для заполнения?
Это возможно как то сделать "на кластер", или нужно запускать на каждом шарде по отдельности?
Подскажите, пожалуйста.
Есть кластер из нескольких шардов и реплик.
Есть таблица и ее distributed-версия.
Добавляю колонку к таблице с помощью
alter table on cluster ... add column ...Дальше мне нужно заполнить колонку.
Где запускать SQL-скрипт для заполнения?
Это возможно как то сделать "на кластер", или нужно запускать на каждом шарде по отдельности?
Как Вам её нужно заполнить?
Просто какими-то дефолтными значениями?
Или для каждой строки какое-то определённое?
Просто какими-то дефолтными значениями?
Или для каждой строки какое-то определённое?
VS
Если дефолтными, то это можно задать при создании колонки.
Если же по определённым условиям, то это можно сделать как через distributed таблицу, так и через выборку данных на каждом шарде
Если же по определённым условиям, то это можно сделать как через distributed таблицу, так и через выборку данных на каждом шарде
I
Всем доброго дня! Скажите, а планируется ли интеграция с NATS в качестве брокера сообщений?
w
Vladyslav Sakun
Если дефолтными, то это можно задать при создании колонки.
Если же по определённым условиям, то это можно сделать как через distributed таблицу, так и через выборку данных на каждом шарде
Если же по определённым условиям, то это можно сделать как через distributed таблицу, так и через выборку данных на каждом шарде
Спасибо!
Да, по условиям, выбирая данные из другой таблицы.
Надо было упомянуть об этом :)
А как правильно делать, если не на каждом шарде, а через distibuted-таблицу?
Гуглю, увидел "At the moment of writing, ALTER TABLE UPDATE/DELETE did not support distributed DDL" от 2018 года, а более новой инфы не могу найти.
Да, по условиям, выбирая данные из другой таблицы.
Надо было упомянуть об этом :)
А как правильно делать, если не на каждом шарде, а через distibuted-таблицу?
Гуглю, увидел "At the moment of writing, ALTER TABLE UPDATE/DELETE did not support distributed DDL" от 2018 года, а более новой инфы не могу найти.
VS
Спасибо!
Да, по условиям, выбирая данные из другой таблицы.
Надо было упомянуть об этом :)
А как правильно делать, если не на каждом шарде, а через distibuted-таблицу?
Гуглю, увидел "At the moment of writing, ALTER TABLE UPDATE/DELETE did not support distributed DDL" от 2018 года, а более новой инфы не могу найти.
Да, по условиям, выбирая данные из другой таблицы.
Надо было упомянуть об этом :)
А как правильно делать, если не на каждом шарде, а через distibuted-таблицу?
Гуглю, увидел "At the moment of writing, ALTER TABLE UPDATE/DELETE did not support distributed DDL" от 2018 года, а более новой инфы не могу найти.
Тогда это не запись, а обновление данных))
Да, с обновлением сложнее, оно не поддерживает DDL-запросы (если я ошибаюсь, пускай меня поправят знающие люди).
Тут только на каждом шарде делать выборку и обновлять
Да, с обновлением сложнее, оно не поддерживает DDL-запросы (если я ошибаюсь, пускай меня поправят знающие люди).
Тут только на каждом шарде делать выборку и обновлять
w
Думаю, что так и не ввели, потому что в доке нет ничего про это.
Ладно, сделаю вручную. Большое спасибо!)
Ладно, сделаю вручную. Большое спасибо!)
RO
Спасибо!
Да, по условиям, выбирая данные из другой таблицы.
Надо было упомянуть об этом :)
А как правильно делать, если не на каждом шарде, а через distibuted-таблицу?
Гуглю, увидел "At the moment of writing, ALTER TABLE UPDATE/DELETE did not support distributed DDL" от 2018 года, а более новой инфы не могу найти.
Да, по условиям, выбирая данные из другой таблицы.
Надо было упомянуть об этом :)
А как правильно делать, если не на каждом шарде, а через distibuted-таблицу?
Гуглю, увидел "At the moment of writing, ALTER TABLE UPDATE/DELETE did not support distributed DDL" от 2018 года, а более новой инфы не могу найти.
ALTER UPDATE на движке Distributed не поддерживается. Но можно сделать на шардных таблица с ДДЛ типа ON CLUSTER cluster
RO
ALTER TABLE sharded.MyUnderlyingTable ON CLUSTER my_cluster_name UPDATE/DELETE
RO
кстати на счет DELETE все таки лучше использовать DROP PARTITION, если это возможно
VS
Required Optional
кстати на счет DELETE все таки лучше использовать DROP PARTITION, если это возможно
Думаю там нужен именно UPDATE
RO
пробуйте
w
Required Optional
ALTER TABLE sharded.MyUnderlyingTable ON CLUSTER my_cluster_name UPDATE/DELETE
О как. Спасибо, интересно. В вашем примере
sharded. - это БД, созданная на движке Distributed, я правильно понимаю?RO
О как. Спасибо, интересно. В вашем примере
sharded. - это БД, созданная на движке Distributed, я правильно понимаю?нет это база содержащая шард-таблицы на движке ReplicatedMergeTree а таблицы на движке Distributed находятся в базе по умолчанию. Во всяком случае в нашем дизайне :)
w
ааа, всё, дошло.
я просто немного новичок в работе с кх, в том числе с нашим дизайном :)
у нас наоборот - в базе по умолчанию содержатся шард-таблицы, а Distributed* - в бд "distributed"
я просто немного новичок в работе с кх, в том числе с нашим дизайном :)
у нас наоборот - в базе по умолчанию содержатся шард-таблицы, а Distributed* - в бд "distributed"
w
спасибо еще раз!
RO
ок