Полезное видео для тех кто начинает изучать apache kafka
+ выписал советы и рекомендации из самого видео. до знака # указан default, после - то что выставил автор видео
https://www.youtube.com/watch?v=m5CDfrQLzrs&list=PLH-XmS0lSi_x0OrxrC4GKInFRK8zG_tfZ&index=3# частота опроса репликой лидера
replica.fetch.wait.max.ms = 500 # 200
# подтверждение записи
acks = -1 # дожидаемся пока все реплики записали сообщение
# лидер ожидает пока реплика запишет данные
replica.max.lag.ms = 10000 # 1000
# минимальное число реплик необходимое для успешной записи
min.insync.replicas = 2
--
# Рекомендуемое количество реплик при числе нод = 5
rf=3 min.isr=2
---
# Утилиты для управления
dimas/kafka-reassign-tool - генерировать карту
kafa-reassign.sh - запуск перераспределения
kafa-reassign.sh - мониторинг процесса
# не забыть указать парваметр
--throttle
---
# если процесс реасайна сломался
zookeeper: rm /kafka/admin/reassign_partitions
запускаем заново
---
# в случае если хотим отреплицировать хоть какие-то данные со слейва на умерший лидер.
unclean.leader.election.enable
---
# удаление топика - 2 варианта
delete.topic.enable = true -
kafka-topics.shили
1. никто не пишет в топик
2. перенести партиции топика на 1 брокер
3. удалять на брокере все партиции топика
4. удалить топик в зукипере (rm /brokers/topics/mytopic)
5. ребут брокера