VB
У меня такой же вопрос)
И если все-таки мат вью отрабатывает на всех репликах, мы можем быть уверены, что запись будет идемпотентной и не приведёт к дублированию данных ?
Size: a a a
2020 August 26
DC
Ilya Vishnevsky
Вью срабатывает только на инсерты.
DC
К сожалению нет, таблицы независимые. Одна (1я наполняется в результате парсинга), вторая - пополняется пользователями в произвольный момент времени.
Пока решаем программно - выгружаем, затем ообрабатываем питоном и дальше уже схлопываем данные как надо. Я просто надеялся, что есть какой-то способ обойтись исключительно средствами clickhouse
Пока решаем программно - выгружаем, затем ообрабатываем питоном и дальше уже схлопываем данные как надо. Я просто надеялся, что есть какой-то способ обойтись исключительно средствами clickhouse
в последних кх фулл аутер джойн помещает в память только правую таблицу и стримит левую, поэтому будет работать как питон
EG
в последних кх фулл аутер джойн помещает в память только правую таблицу и стримит левую, поэтому будет работать как питон
Спасибо! Интересно. Надеюсь, что сработает
DC
Спасибо! Интересно. Надеюсь, что сработает
А хотя like же только константы умеет. Придется substr или что-то такое использовать
AS
привет всем,
сейчас начинаем экспериментировать с clickhouse в надежде заменить большую часть юзкейсов impala
в связи с этим сразу же возник вопрос, каким образом удобнее всего переносить данные из hive/impala в clickhouse в случае если hadoop kerberized (то есть hdfs() не работает)?
сейчас начинаем экспериментировать с clickhouse в надежде заменить большую часть юзкейсов impala
в связи с этим сразу же возник вопрос, каким образом удобнее всего переносить данные из hive/impala в clickhouse в случае если hadoop kerberized (то есть hdfs() не работает)?
DC
привет всем,
сейчас начинаем экспериментировать с clickhouse в надежде заменить большую часть юзкейсов impala
в связи с этим сразу же возник вопрос, каким образом удобнее всего переносить данные из hive/impala в clickhouse в случае если hadoop kerberized (то есть hdfs() не работает)?
сейчас начинаем экспериментировать с clickhouse в надежде заменить большую часть юзкейсов impala
в связи с этим сразу же возник вопрос, каким образом удобнее всего переносить данные из hive/impala в clickhouse в случае если hadoop kerberized (то есть hdfs() не работает)?
не тратить время и выгрузить в текст ( TSV/CSV )
AS
не тратить время и выгрузить в текст ( TSV/CSV )
хм.. ну я примерно это же и начал делать
impala-shell -q 'select * from table' -B | clickhouse-client --query='INSERT INTO table FORMAT TSV'
AS
но это крайне медленно
VB
но это крайне медленно
я так из вертики около недели переносил табличку )
VB
хм.. ну я примерно это же и начал делать
impala-shell -q 'select * from table' -B | clickhouse-client --query='INSERT INTO table FORMAT TSV'
через ODBC не выйдет из КХ подключиться?
AS
я так из вертики около недели переносил табличку )
хорошо знать что я хотя бы не один страдал)
DC
но это крайне медленно
запустить сразу много / кусками, по месяцу
DC
через ODBC не выйдет из КХ подключиться?
Будет медленее чем tsv
AS
через ODBC не выйдет из КХ подключиться?
думал об этом, но пока не вникал как это делать. могут ли быть проблемы с аутентификацией через керберос в этом случае?
AS
Будет медленее чем tsv
то есть смысла нет заморачиваться?
VB
думал об этом, но пока не вникал как это делать. могут ли быть проблемы с аутентификацией через керберос в этом случае?
тут не подскажу
у меня с вертикой не вышло, если честно
какая-то тупая ошибка вываливалась связанная с парсингом строк
но через isql все работало
я и забил потом
у меня с вертикой не вышло, если честно
какая-то тупая ошибка вываливалась связанная с парсингом строк
но через isql все работало
я и забил потом
DC
Odbc в кх работает через http bridge и очень небыстро
DC
то есть смысла нет заморачиваться?
Пока вы разбираетесь, insert tsv уже закончился бы
AS
Пока вы разбираетесь, insert tsv уже закончился бы
он в процессе)