Телеграмм чат группы phpfwdays страница 412

Size: a a a

PHP fwdays

2020 May 31

"В кафке если записываешь с одинаковым ID — оно затирается"

докладчик говорил, что модификация сообщения тоже невозможна.

источник

11:33пожаловаться #1

Mark Boychuk in PHP fwdays

Dmytro Popov

#qa докладчик сказал, что нельзя удалить сообщение и лога. А если все таки вот очень нужно удалить сообщения из партиции? Есть ли все таки какая-то возможность?

ответил)

источник

11:33пожаловаться #2

Valentyn Cherniavsky... in PHP fwdays

но зачем что-то удалять или перетерать из лога o__O?

источник

11:34пожаловаться #3

Vano Devium in PHP fwdays

Удаляют чаще всего тогда, когда кафку используют не как вечный лог (например, банковские операции), а как очередь

источник

11:35пожаловаться #4

Vladimir Chernyshev in PHP fwdays

в целом удалить сообщение нельзя, но если что-то типа event sourcing то можно записать событие "сущность удалена"

источник

11:35пожаловаться #5

Dmytro Popov in PHP fwdays

если попало "неправильное" сообщение и его не следует обрабатывать потом.

источник

11:35пожаловаться #6

Vladimir Chernyshev in PHP fwdays

ну кроме простого транкейт лога

источник

11:35пожаловаться #7

Vladimir Chernyshev in PHP fwdays

можно устанавливать макимальный размер лога или TTL записей для лога

источник

11:36пожаловаться #8

Nazar Samarets in PHP fwdays

Vladimir Chernyshev

даже для StreamAPI? C год назад не нашёл, когда копал

я такую штуку использую
https://github.com/php-enqueue/rdkafka

GitHub

php-enqueue/rdkafka

[READ-ONLY] The Kafka Enqueue transport. Contribute to php-enqueue/rdkafka development by creating an account on GitHub.

источник

11:36пожаловаться #9

Nazar Samarets in PHP fwdays

Dmytro Popov

если попало "неправильное" сообщение и его не следует обрабатывать потом.

тогда на стороне консюмера его можно залогировать и поставить ему ак

источник

11:37пожаловаться #10

Dmytro Popov in PHP fwdays

Vladimir Chernyshev

ну кроме простого транкейт лога

например, сделать отдельный топик Б (urgent-очередь) с сообщением о том, что сообщение с id=123 из топика А "плохое" и не нужно будет потом обрабатывать (например не слать пуш с неправильной инфой)?

источник

11:38пожаловаться #11

Vladimir Chernyshev in PHP fwdays

Nazar Samarets

я такую штуку использую
https://github.com/php-enqueue/rdkafka

GitHub

php-enqueue/rdkafka

[READ-ONLY] The Kafka Enqueue transport. Contribute to php-enqueue/rdkafka development by creating an account on GitHub.

> The RdKafka extension provides a Kafka client for PHP, supporting Kafka 0.8 and higher. It supports the high level KafkaConsumer and Producer, the low level Consumer, and the Metadata API.

StreamAPI не поддерживается...

источник

11:39пожаловаться #12

Nazar Samarets in PHP fwdays

Vladimir Chernyshev

ааа, ну тут да, сорян, не увидел этот момент в вопросе)

источник

11:39пожаловаться #13

Dmytro Popov in PHP fwdays

о, а вот как раз на тему "плохих" сообщений пошел доклад)))

источник

11:40пожаловаться #14

Mark Boychuk in PHP fwdays

Фриз только у меня?

источник

11:41пожаловаться #15

Vladimir Chernyshev in PHP fwdays

yes )

источник

11:41пожаловаться #16

Mark Boychuk in PHP fwdays

😢

источник

11:42пожаловаться #17

Vlad Strelchenko in PHP fwdays

#qa Oleksii Ilyenko сбросишь плиз презентацию в чат?

источник

11:43пожаловаться #18

Tetiana Bukhanova in PHP fwdays

Vlad Strelchenko

#qa Oleksii Ilyenko сбросишь плиз презентацию в чат?

сбросим 🙂

источник

11:43пожаловаться #19

Vladimir Chernyshev in PHP fwdays

Dmytro Popov

можно сделать пересбор топика, делаем клиента, который читает топик, фильтрует записи, пишет в новый потмо обычных клиентов перенатриавливаем на новый топик

источник

11:47пожаловаться #20