ДЩ
Кафка. Кластер
ага уже почитал что кафка как раз таки дает гарантию
Size: a a a
2021 March 22
A
сейчас я для длинных задач делаю запись таски в БД, оттуда ее демон берет на выполнение, и вот думаю, а может кролика натравить, но теперь все больше узнаю что кролик не такой живучий как казалось, а мне нужна 100% гарантия исполнения всех задач
Да вроде вполне живучий, смотря как его использовать.
AS
сейчас я для длинных задач делаю запись таски в БД, оттуда ее демон берет на выполнение, и вот думаю, а может кролика натравить, но теперь все больше узнаю что кролик не такой живучий как казалось, а мне нужна 100% гарантия исполнения всех задач
БД как ipc не лучшая идея, ни разу не встречал подобного решения
A
ага уже почитал что кафка как раз таки дает гарантию
А что за гарантии?
ДЩ
Artyom
Да вроде вполне живучий, смотря как его использовать.
как?
ДК
кролик спокойно живет и под 10k rps
Там не rps надо считать а мегабиты траффика. На 30мбит кролик загнется
A
как?
Ты разве не читал тот тред полностью?
Там человек вроде слишком много информации пихал в задачу, без редактирования конфига потребления памяти на задачу.
Там человек вроде слишком много информации пихал в задачу, без редактирования конфига потребления памяти на задачу.
ДЩ
Artyom
А что за гарантии?
В сущности, Kafka хранит все свои сообщения на дискеДК
В сущности, Kafka хранит все свои сообщения на дискеКроль тоже умеет сохранять состояние если подумать
ДЩ
Там не rps надо считать а мегабиты траффика. На 30мбит кролик загнется
ну т.е. проблема падения кролика в объемах данных. если слать ему байты то кролик никогда не встанет раком?
ДК
У Кафки шардирование проще
ДЩ
Artyom
Ты разве не читал тот тред полностью?
Там человек вроде слишком много информации пихал в задачу, без редактирования конфига потребления памяти на задачу.
Там человек вроде слишком много информации пихал в задачу, без редактирования конфига потребления памяти на задачу.
ссзб )) мы то не такие, доооо )))
DK
Там не rps надо считать а мегабиты траффика. На 30мбит кролик загнется
не загнется, гоняли и +0.5 гб.
как он загибается какие ошибки ?
как он загибается какие ошибки ?
ДК
ну т.е. проблема падения кролика в объемах данных. если слать ему байты то кролик никогда не встанет раком?
Шанс есть всегда. Вопрос в том насколько легко и быстро это поднять назад
A
В сущности, Kafka хранит все свои сообщения на дискеТак разве кролик не тоже самое умеет, при выставленных опциях?
https://www.rabbitmq.com/persistence-conf.html
https://www.rabbitmq.com/persistence-conf.html
First, some background: both persistent and transient messages can be written to disk. Persistent messages will be written to disk as soon as they reach the queue, while transient messages will be written to disk only so that they can be evicted from memory while under memory pressure. Persistent messages are also kept in memory when possible and only evicted from memory under memory pressure. The "persistence layer" refers to the mechanism used to store messages of both types to disk.
A
У Кафки шардирование проще
А сама Кафка не сильно сложнее RabbitMQ без шардирования?
ДЩ
в общем я думаю что до кролика и кафки надо сначала дожить )) а там глядишь и решение найдется. а еще мне понравилась фраза кого-то выше про то что надо так писать чтобы в будущем на раз два можно было перейти на другого брокера
ДК
не загнется, гоняли и +0.5 гб.
как он загибается какие ошибки ?
как он загибается какие ошибки ?
Когда проходили архитектурную защиту, искали инфу о пропускных способностях. Кролик не вывозит 2 направления. Количество инфы и пропускная способность
ДК
не загнется, гоняли и +0.5 гб.
как он загибается какие ошибки ?
как он загибается какие ошибки ?
Пиковая пропускная способность (MB/s)
Kafka 605 MB/s
RabbitMQ 38 MB/s
p99 Задержка (ms)
Kafka 5 ms (200 MB/s)
RabbitMQ 1 ms * (30 MB/s)
* Задержки RabbitMQ значительно увеличиваются (в геометрической прогрессии) при пропускной способности выше 30 MB/s
Kafka 605 MB/s
RabbitMQ 38 MB/s
p99 Задержка (ms)
Kafka 5 ms (200 MB/s)
RabbitMQ 1 ms * (30 MB/s)
* Задержки RabbitMQ значительно увеличиваются (в геометрической прогрессии) при пропускной способности выше 30 MB/s
AM
saves the original one in a DB