DC
если бы не завезли движки Replacing и Collapsing никто бы этого и не хотел
Size: a a a
2020 August 10
S
Проблема не в этом, данных заходят хорошо, проблем нет
а зачем тогда вам управлять мержем?
ls
а зачем тогда вам управлять мержем?
хотелось узнать почему merge может не выполняться,
@den_crane ответил
@den_crane ответил
A
Привет всем, не подскажете, как можно автоматически через jdbc создавать таблицы с nullable значениями и соответственно записывать данные, просто через dataFrame.write.jdbc не получается, выдается ошибка, что найден null-value
A
то есть он не определяет колонку как nullable
DC
Привет всем, не подскажете, как можно автоматически через jdbc создавать таблицы с nullable значениями и соответственно записывать данные, просто через dataFrame.write.jdbc не получается, выдается ошибка, что найден null-value
К.О.:
вообще nullable в КХ это проблема, потому что они занимают место и замедляют запросы, и лучше не иметь nullable вообще
если вам фиолетово на такой тонкий момент, то надо создавать поля как Col Nullable(String), Col1 Nullable(Int8)
вообще nullable в КХ это проблема, потому что они занимают место и замедляют запросы, и лучше не иметь nullable вообще
если вам фиолетово на такой тонкий момент, то надо создавать поля как Col Nullable(String), Col1 Nullable(Int8)
A
К.О.:
вообще nullable в КХ это проблема, потому что они занимают место и замедляют запросы, и лучше не иметь nullable вообще
если вам фиолетово на такой тонкий момент, то надо создавать поля как Col Nullable(String), Col1 Nullable(Int8)
вообще nullable в КХ это проблема, потому что они занимают место и замедляют запросы, и лучше не иметь nullable вообще
если вам фиолетово на такой тонкий момент, то надо создавать поля как Col Nullable(String), Col1 Nullable(Int8)
я понимаю, но как это делать автоматически через dataframe.write.jdbc, а не создавать вручную таблицы
DC
бог миловал, я не знаю что такое dataframe.write.jdbc и работаю в компании где за создание таблиц автоматически, сразу отрубают все пальцы на всех руках и ногах.
A
я пишу эту строчку для загрузки данных в КХ dataFrame.write.jdbc(url=chUrl, table=chTableName, mode='append',
properties=json.loads(chConfig))
properties=json.loads(chConfig))
A
я просто хотел для себя попробовать, но я понял Вас, спасибо большое за ответ
IG
Привет!
Можно ли в ClickHouse создать динамический запрос, который будет считать count за последние 7 дней у всех таблиц с определенной схемы?
Например:
1) схеме analytics есть 3 таблицы.
Мониторинг показывает count по каждой из этих таблиц за последние 7 дней.
2) В схеме analytics появилась четвертая таблица.
Мониторинг учитывает новую таблицу и считает count за последние 7 дней.
Есть мысли реализовать это через питон и system.tables, но пока интересует реализация именно через CH)
Можно ли в ClickHouse создать динамический запрос, который будет считать count за последние 7 дней у всех таблиц с определенной схемы?
Например:
1) схеме analytics есть 3 таблицы.
Мониторинг показывает count по каждой из этих таблиц за последние 7 дней.
2) В схеме analytics появилась четвертая таблица.
Мониторинг учитывает новую таблицу и считает count за последние 7 дней.
Есть мысли реализовать это через питон и system.tables, но пока интересует реализация именно через CH)
DC
Привет!
Можно ли в ClickHouse создать динамический запрос, который будет считать count за последние 7 дней у всех таблиц с определенной схемы?
Например:
1) схеме analytics есть 3 таблицы.
Мониторинг показывает count по каждой из этих таблиц за последние 7 дней.
2) В схеме analytics появилась четвертая таблица.
Мониторинг учитывает новую таблицу и считает count за последние 7 дней.
Есть мысли реализовать это через питон и system.tables, но пока интересует реализация именно через CH)
Можно ли в ClickHouse создать динамический запрос, который будет считать count за последние 7 дней у всех таблиц с определенной схемы?
Например:
1) схеме analytics есть 3 таблицы.
Мониторинг показывает count по каждой из этих таблиц за последние 7 дней.
2) В схеме analytics появилась четвертая таблица.
Мониторинг учитывает новую таблицу и считает count за последние 7 дней.
Есть мысли реализовать это через питон и system.tables, но пока интересует реализация именно через CH)
нельзя
IG
DC
спасибо!
правда можно нагенерить SQL запрос используя system.tables , но как узнать по какой колонке брать 7 дней?
DC
спасибо!
а кстати у таблиц одинаковая структура? и похожие имена ?
IG
а кстати у таблиц одинаковая структура? и похожие имена ?
Структура да, все даты называются тоже одинаково.
А каким образом можно сгенерировать SQL запрос?
Я думал использовать:
Только на выходе будет строка с текстом запроса, а не сам запрос.
А каким образом можно сгенерировать SQL запрос?
Я думал использовать:
arrayMap + groupArray(table_name) + использовать arrayStringConcat + UNIONТолько на выходе будет строка с текстом запроса, а не сам запрос.
DC
Структура да, все даты называются тоже одинаково.
А каким образом можно сгенерировать SQL запрос?
Я думал использовать:
Только на выходе будет строка с текстом запроса, а не сам запрос.
А каким образом можно сгенерировать SQL запрос?
Я думал использовать:
arrayMap + groupArray(table_name) + использовать arrayStringConcat + UNIONТолько на выходе будет строка с текстом запроса, а не сам запрос.
если одинаковая структура тогда engine=Merge накрывает их всех и дальше используя виртуальное поле _table группируем
IG
если одинаковая структура тогда engine=Merge накрывает их всех и дальше используя виртуальное поле _table группируем
Благодарю за помощь
K
Таблица MergeTree с ключом по дате. В таблице 2 строки. Делаю freeze, потом делаю аттачед. Строки задублировались. Стоит ли ожидать, что через некоторое время 4 строки станут 2-мя?
DC
Таблица MergeTree с ключом по дате. В таблице 2 строки. Делаю freeze, потом делаю аттачед. Строки задублировались. Стоит ли ожидать, что через некоторое время 4 строки станут 2-мя?
никогда не станут. С чего бы вдруг.