AK
не надо 20.1 берите хотя бы 20.3 последнюю
А она с 19-ой обратно совместима? Конфиги и структуру таблица менять не потребуется
Size: a a a
2020 September 23
DC
Anton Kondakov
А она с 19-ой обратно совместима? Конфиги и структуру таблица менять не потребуется
не потребуется
AA
Добрый вечер, Коллеги. У меня возникла проблема при подключении к кафке.
Все было сделано как описано в документации:
но почему то получаю не совсем корректные данные
Все было сделано как описано в документации:
create table transactions
(
id Int64,
active UInt8,
action UInt8,
parent_id Nullable(Int64),
error_id Nullable(Int64),
type String
)
engine = Kafka('192.168.60.2:9092', 'test', 'group1') SETTINGS kafka_format = 'JSONEachRow', kafka_num_consumers = 4;но почему то получаю не совсем корректные данные
DC
Abdugani Adikhanov
Добрый вечер, Коллеги. У меня возникла проблема при подключении к кафке.
Все было сделано как описано в документации:
но почему то получаю не совсем корректные данные
Все было сделано как описано в документации:
create table transactions
(
id Int64,
active UInt8,
action UInt8,
parent_id Nullable(Int64),
error_id Nullable(Int64),
type String
)
engine = Kafka('192.168.60.2:9092', 'test', 'group1') SETTINGS kafka_format = 'JSONEachRow', kafka_num_consumers = 4;но почему то получаю не совсем корректные данные
JSONEachRow -- это особый формат, который понимает КХ и это НЕ JSONОчевидно ваш поток в кафке вообще не
JSONEachRowСФ
с чего бы просто select * быть быстрее? Это надо в диски упереться на 100%.
и как вы тестируете select * ? Я бы тестил select * from hits_v1 format Null -- чтобы клиент и сеть не были узким местом
и например попробуйте select * hits_v1 from where ClientIP = 666
и еще например select RegionID , count() hits_v1 from group by RegionID
CH и distributed созданы для запросов group by , а не для select *
и как вы тестируете select * ? Я бы тестил select * from hits_v1 format Null -- чтобы клиент и сеть не были узким местом
и например попробуйте select * hits_v1 from where ClientIP = 666
и еще например select RegionID , count() hits_v1 from group by RegionID
CH и distributed созданы для запросов group by , а не для select *
Спасибо большое, действительно запросы с group by показывают прирост скорости. Еще почитаю матчасть
IB
Секретный доклад Yandex Scale уже через 15 минут⚡️
Узнайте главные анонсы Yandex.Cloud в прямом эфире.
Смотреть трансляцию→
Узнайте главные анонсы Yandex.Cloud в прямом эфире.
Смотреть трансляцию→
D
【D】【J】, [23.09.20 17:46]
groupBy над distributed, сначала группирует локально потом присылает стейты на инициатор?
groupBy над distributed, сначала группирует локально потом присылает стейты на инициатор?
AR
А подскажет кто - как правильно выбрать версию CH?
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
D
【D】【J】, [23.09.20 17:46]
groupBy над distributed, сначала группирует локально потом присылает стейты на инициатор?
groupBy над distributed, сначала группирует локально потом присылает стейты на инициатор?
уже ответили что да... вопрос снят
D
А подскажет кто - как правильно выбрать версию CH?
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
>И то что фиксится в более ранних версиях остается непофикшеным в более поздних
нет, что фиксится в ранних, фиксится и в поздних если не что-то специфичное.
нет, что фиксится в ранних, фиксится и в поздних если не что-то специфичное.
D
А подскажет кто - как правильно выбрать версию CH?
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
если новый функционал не нужен, берите ЛТС
AR
>И то что фиксится в более ранних версиях остается непофикшеным в более поздних
нет, что фиксится в ранних, фиксится и в поздних если не что-то специфичное.
нет, что фиксится в ранних, фиксится и в поздних если не что-то специфичное.
ну у нас был опыт переезда на LTS с более ранней версии и в LTS было сломано то, что нормально рабатола на старой. Я про Table engine dictionary
AR
В общем, брать максимальную и пробовать апгрейдиться на нее на тестовом стенде?
D
ну у нас был опыт переезда на LTS с более ранней версии и в LTS было сломано то, что нормально рабатола на старой. Я про Table engine dictionary
ну, иногда что-то пролетает мимо, тут гарантий нет
AR
если новый функционал не нужен, берите ЛТС
ну хочется иногда юзать новые штуки :)
D
В общем, брать максимальную и пробовать апгрейдиться на нее на тестовом стенде?
вам с какой апгрейдится? если совсем с древней то лучше на ту что поимела уже 7-8 багфиксов
D
ну хочется иногда юзать новые штуки :)
иначе будете добровольным тестером, проверено =)
AR
Э
CREATE TABLE logs (
`created_datetime` DateTime DEFAULT now(),
`event_datetime` DateTime,
) ENGINE = MergeTree PARTITION BY toYYYYMM(event_datetime)
ORDER BY
(event_datetime, msisdn) TTL event_datetime + toIntervalWeek(1)
Создавал таблицу так, надежде что запись удалится течении недели.
Прошла неделя но записи не удаляются.
Например есть записи на datetime
2020-09-15 20:52:37
В чем может быть косяк?
UPDATE:
Записи удалились. Видимо я сам неправильно подсчитал дату
Записи удалились. Видимо я сам неправильно подсчитал дату
DC
А подскажет кто - как правильно выбрать версию CH?
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
Их много, есть ЛТС, но не все, что выходит/патчится в более поздних версиях тоже присутствует в ЛТС. И то что фиксится в более ранних версиях остается непофикшеным в более поздних
в LTS все пофикшено