М
спасибо!
<kafka_topic40>
<retry_backoff_ms>1000</retry_backoff_ms>
<fetch_min_bytes>1000</fetch_min_bytes>
<fetch_wait_max_ms>1000</fetch_wait_max_ms>
</kafka_topic40>
Size: a a a
2020 September 03
DC
видать не в этом дело, снова из 2003 сообщений только 1463 приехало. Настройки поставил, что бы по истечению 1 секунды сбрасывал в таблицу в независимости от кол-ва байт.
так а те 400 дошли?
SI
Неа. Сейчас с нуля пересоздал все контейнеры\базы\очереди - снова часть не доходит.
DC
Неа. Сейчас с нуля пересоздал все контейнеры\базы\очереди - снова часть не доходит.
а они все парсятся успешно ? В логе КХ есть ошибки?
SI
а они все парсятся успешно ? В логе КХ есть ошибки?
Ошибок нет. Включен дебаг режим, что бы все писало. Сообщения все однотипные отправляются: просто числа статичные.
DC
Всем привет! Есть поле в таблице, по которому хотим группировать и фильтровать по нему. Это поле - строка из 24 символа, есть ли большой смысл делать cityHash64() от этого поля и добавлять уже в индекс (ORDER BY) как раз хеш а не саму строку? Будет ли фильтрация или группировка быстрее по хешу?
не будет, там это под капотом уже сделано
DC
Ошибок нет. Включен дебаг режим, что бы все писало. Сообщения все однотипные отправляются: просто числа статичные.
Materialized view есть и вы в его таблицу смотрите, не в kafka engine, правильно?
ну пошлите 3млн. , сколько доедет?
ну пошлите 3млн. , сколько доедет?
SI
Materialized view есть и вы в его таблицу смотрите, не в kafka engine, правильно?
ну пошлите 3млн. , сколько доедет?
ну пошлите 3млн. , сколько доедет?
Через mat.view пишу в таблицу test_table из KafkaEngine.```
Сейчас попробую побольше закинуть
CREATE MATERIALIZED VIEW protoconsumer ON CLUSTER widget_cluster TO test_db.test_table
AS (SELECT company_id, product_id, toDate(event_date), toDateTime(event_date) FROM test_db.protoqueue);```Сейчас попробую побольше закинуть
DC
здравствуйте, а подскажет ли мне кто-нибудь такое: вот, есть у нас реплицирующие таблицы и несколько реплик на каждый шард, а потом мы решили репликацию убрать, достаточно ли будет просто убрать реплики из конфига и перезапустить CH, реплицирующие таблицы будут также работать, просто уже каждая в единственном экземпляре, или будут проблемы?
вы решили убрать репликацию и зукипер?
или вы решили разделить кластер?
т.е. вам нужны данные в тех других репликах?
на других репликах надо сделать: drop table или drop database иначе основные реплики продолжат писать в зукипер в очередь репликации для выключенных реплик и позже либо зукипер взорвется если у вас старый КХ либо в любом случае придется чистить зукипер как-то (вручную или через system drop replica)
или вы решили разделить кластер?
т.е. вам нужны данные в тех других репликах?
на других репликах надо сделать: drop table или drop database иначе основные реплики продолжат писать в зукипер в очередь репликации для выключенных реплик и позже либо зукипер взорвется если у вас старый КХ либо в любом случае придется чистить зукипер как-то (вручную или через system drop replica)
Е
нет, просто, допустим мы в будущем решим отключить репликацию, но шарды должны работать как раньше
DC
нет, просто, допустим мы в будущем решим отключить репликацию, но шарды должны работать как раньше
слова понял, смысла не уловил
вот у вас 4 сервера - два шарда
s1 реплицируется в s3
s2 реплицируется в s4
вы хотите навсегда убрать репликацию, оставить s1 и s2 ?
тогда имеет смысл переделать таблицы в неReplicated -- тогда инсерты станут быстрее
ИЛИ ?
вот у вас 4 сервера - два шарда
s1 реплицируется в s3
s2 реплицируется в s4
вы хотите навсегда убрать репликацию, оставить s1 и s2 ?
тогда имеет смысл переделать таблицы в неReplicated -- тогда инсерты станут быстрее
ИЛИ ?
Е
слова понял, смысла не уловил
вот у вас 4 сервера - два шарда
s1 реплицируется в s3
s2 реплицируется в s4
вы хотите навсегда убрать репликацию, оставить s1 и s2 ?
тогда имеет смысл переделать таблицы в неReplicated -- тогда инсерты станут быстрее
ИЛИ ?
вот у вас 4 сервера - два шарда
s1 реплицируется в s3
s2 реплицируется в s4
вы хотите навсегда убрать репликацию, оставить s1 и s2 ?
тогда имеет смысл переделать таблицы в неReplicated -- тогда инсерты станут быстрее
ИЛИ ?
да, имено так, оставить s1 и s2 и больше ничег не переделывать, допустим скорость INSERT нас и так устроит и таблицы пусть так и останутся Replicated, простопо факту они уже не буду реплицироваться
DC
да, имено так, оставить s1 и s2 и больше ничег не переделывать, допустим скорость INSERT нас и так устроит и таблицы пусть так и останутся Replicated, простопо факту они уже не буду реплицироваться
тогда редактируете remote_servers на s1 и s2 и удаляете оттуда инфу про s3 и s4
на s3 и s4 делаете drop database
на s3 и s4 делаете drop database
Е
тогда редактируете remote_servers на s1 и s2 и удаляете оттуда инфу про s3 и s4
на s3 и s4 делаете drop database
на s3 и s4 делаете drop database
спасибо
SI
Materialized view есть и вы в его таблицу смотрите, не в kafka engine, правильно?
ну пошлите 3млн. , сколько доедет?
ну пошлите 3млн. , сколько доедет?
3 млн очень на долго получается 🙂 Сейчас отправил 20000 из них доехало 14120. Второй раз 16072 пришло.
DC
3 млн очень на долго получается 🙂 Сейчас отправил 20000 из них доехало 14120. Второй раз 16072 пришло.
долго? пара секунд должно быть, максимум 10.
протобаф у вас? потренируйтесь на строках (TSV) на сообщениях из одного поля строкового.
с протобаф там все сложно раньше было, надо было передавать длину протобафа, потому что можно было передать много строк в одном кафка-месадж, не знаю как сейчас
протобаф у вас? потренируйтесь на строках (TSV) на сообщениях из одного поля строкового.
с протобаф там все сложно раньше было, надо было передавать длину протобафа, потому что можно было передать много строк в одном кафка-месадж, не знаю как сейчас
D
не работает move_to_prewhere. Надо prewhere руками задавать
вопрос, не работает именно овер дистрибютед, или в целом не работает на мердж-енджин?
DC
вопрос, не работает именно овер дистрибютед, или в целом не работает на мердж-енджин?
SI
долго? пара секунд должно быть, максимум 10.
протобаф у вас? потренируйтесь на строках (TSV) на сообщениях из одного поля строкового.
с протобаф там все сложно раньше было, надо было передавать длину протобафа, потому что можно было передать много строк в одном кафка-месадж, не знаю как сейчас
протобаф у вас? потренируйтесь на строках (TSV) на сообщениях из одного поля строкового.
с протобаф там все сложно раньше было, надо было передавать длину протобафа, потому что можно было передать много строк в одном кафка-месадж, не знаю как сейчас
Да, прото. 20 тысяч отправляются где-то с минуты 2. Может, докеры так медленно локально работают.. Длинну по прежнему надо отправлять, если она указана не корректно, то это видно по полученным данным - они дефолтными значениями заполняются. Сейчас json попробую, но вроде с ним такая же проблема была. Вообще могу все это в виде репы с docker выложить, что бы можно было посмотреть
DC
Да, прото. 20 тысяч отправляются где-то с минуты 2. Может, докеры так медленно локально работают.. Длинну по прежнему надо отправлять, если она указана не корректно, то это видно по полученным данным - они дефолтными значениями заполняются. Сейчас json попробую, но вроде с ним такая же проблема была. Вообще могу все это в виде репы с docker выложить, что бы можно было посмотреть
консольным какфка продьюсером отправляейте строки