I
нет ли проблем с такой работой? возможно ли использовать эту схему на постоянной основе?
Size: a a a
2020 September 24
М
нет ли проблем с такой работой? возможно ли использовать эту схему на постоянной основе?
я не знаю , как вы планируете работать, но проблем особо нет, сделать materialized view и вставлять данные в другой кластер на основе данных из двух других
М
предположу, что вам и репликация не нужна. только для надежности
AA
Abdugani Adikhanov
Добрый вечер, Коллеги. У меня возникла проблема при подключении к кафке.
Все было сделано как описано в документации:
но почему то получаю не совсем корректные данные
Все было сделано как описано в документации:
create table transactions
(
id Int64,
active UInt8,
action UInt8,
parent_id Nullable(Int64),
error_id Nullable(Int64),
type String
)
engine = Kafka('192.168.60.2:9092', 'test', 'group1') SETTINGS kafka_format = 'JSONEachRow', kafka_num_consumers = 4;но почему то получаю не совсем корректные данные
Коллеги, можете подсказать на что необходимо обратить внимание?
pk
т.е.
имеем cluster_product_1, cluster_product_2
нужно: добавить общий кластер products_analytics, чтобы выполнять запросы и джоинить данные
имеем cluster_product_1, cluster_product_2
нужно: добавить общий кластер products_analytics, чтобы выполнять запросы и джоинить данные
заводите на общем кластере distributed таблички для всего, пускаете туда людей
pk
дальше будет зависеть от того, что люди будут пытаться делать.
VB
Abdugani Adikhanov
Коллеги, можете подсказать на что необходимо обратить внимание?
1. Какая версия КХ?
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
SS
Всем привет!
SS
Можете подсказать пожалуйста, как лучше делать left join?
SS
есть достаточной просто запрос на SQL, но данных много (400 млн записей) и на джоине всегда запросы улетает по памяти (Memory limit (for query) exceeded)
SS
хотя сам запрос достаточно простой
SS
простой селект, группировка и один where
SS
за помощь, совет готов отблагодарить финансово 🙂
AA
1. Какая версия КХ?
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
1. Какая версия КХ?
- version 20.8.2
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
- Проверил все типы, все в порядке.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
- хорошо, но это не изменила. ситуацию.
- version 20.8.2
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
- Проверил все типы, все в порядке.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
- хорошо, но это не изменила. ситуацию.
VB
Abdugani Adikhanov
1. Какая версия КХ?
- version 20.8.2
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
- Проверил все типы, все в порядке.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
- хорошо, но это не изменила. ситуацию.
- version 20.8.2
2. Проверьте правильность типов данных в коллонках. Если вдруг в кафке поле стрин, а в таблице инт — парсер может сломаться. Советую поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
- Проверил все типы, все в порядке.
3. Я бы не советовал читать из кафка-таблицы через datagrip. Попробуйте через cli клиент лучше
- хорошо, но это не изменила. ситуацию.
Попробуйте поменять все типы в кафка-таблице на максимально generic. Nullable(Int64), Nullable(Float64), Nullable(String) и тд. А когда уже будете через матвью делать запись — преобразовывать в нужный тип.
Кафка таблица все равно не хранит данных, так что можно тут не экономить
Кафка таблица все равно не хранит данных, так что можно тут не экономить
DC
Abdugani Adikhanov
Коллеги, можете подсказать на что необходимо обратить внимание?
Я вам вчера писал
JSONEachRow -- это особый формат, который понимает КХ и это НЕ JSON
Очевидно ваш поток в кафке вообще не JSONEachRow
Пкажите пример одного сообщения
JSONEachRow -- это особый формат, который понимает КХ и это НЕ JSON
Очевидно ваш поток в кафке вообще не JSONEachRow
Пкажите пример одного сообщения
EV
есть достаточной просто запрос на SQL, но данных много (400 млн записей) и на джоине всегда запросы улетает по памяти (Memory limit (for query) exceeded)
а присоединяемая таблица большая? Может стоит сделать словарь?
SS
а присоединяемая таблица большая? Может стоит сделать словарь?
Почти Такая же как первая
SS
А что делает словарь?
SS
Я новичок в кх