Size: a a a

SPb Reliability Meetup

2019 January 15

Е

Егор in SPb Reliability Meetup
Alexander 😼 Chistyakov
Реплика какой именно СУБД?
перкона какая-нибудь, ну иногда прям из-за странного альтера падает
источник

Е

Егор in SPb Reliability Meetup
kSandr
освободить место ?
2TB на кластер, больше нельзя, ограничение технологии
источник

Е

Егор in SPb Reliability Meetup
приходится звонить ответственным людям, чтобы они написали скрипт, который почистит базу
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Егор
перкона какая-нибудь, ну иногда прям из-за странного альтера падает
Реплика асинхронная, сделана по классике?
SBR, RBR?
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Реально сложный случай из жизни я выше привел - вот, есть кластер, который после сбоя не вводится в предыдущее состояние автоматикой в принципе
источник

VG

Valentine G in SPb Reliability Meetup
Vitaliy Levchenko
разбор инцидентов. Например, внезапно продукт останавливается, и в базе висит 1000 транзакций в ожидании.
кто-то запустил mysqldump? ))
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
И SRE здесь не поможет никак
источник

k

kSandr in SPb Reliability Meetup
Егор
2TB на кластер, больше нельзя, ограничение технологии
Нууу вообще опс может настроить мониторинг, что-бы он орал пораньше ,  и решать вопрос с местом в рабочем порядке, а не посреди ночи.

Нуууу или дропнуть какие-нить кэши, либо дропнуть исторические данные, предварительно забэкапив, а потом уже разбираться с проблемой в рабочем порядке
источник

Е

Егор in SPb Reliability Meetup
Alexander 😼 Chistyakov
Реплика асинхронная, сделана по классике?
SBR, RBR?
rbr, но в общем-то без разницы
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Valentine G
кто-то запустил mysqldump? ))
Да ну ладно, там же есть --single-transaction
источник

VG

Valentine G in SPb Reliability Meetup
Alexander 😼 Chistyakov
Да ну ладно, там же есть --single-transaction
о нем еще вспомнить надо
источник

Е

Егор in SPb Reliability Meetup
kSandr
Нууу вообще опс может настроить мониторинг, что-бы он орал пораньше ,  и решать вопрос с местом в рабочем порядке, а не посреди ночи.

Нуууу или дропнуть какие-нить кэши, либо дропнуть исторические данные, предварительно забэкапив, а потом уже разбираться с проблемой в рабочем порядке
это правда, но порой мониторинг случайно не срабатывает, зато срабатывают косвенные алерты
источник

Е

Егор in SPb Reliability Meetup
нужно доносить мысль до сообщества, что программисты имеют непосредственную ответственность за продукт
источник

Е

Егор in SPb Reliability Meetup
где ответственность, там и sre, там все спят не спокойно)
источник

k

kSandr in SPb Reliability Meetup
Егор
это правда, но порой мониторинг случайно не срабатывает, зато срабатывают косвенные алерты
порукам тому кто такой мониторинг сделал ))))  ,  после инцидента разбор инцидента, анализ и выводы что-бы такого больше не повторялось )
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Егор
rbr, но в общем-то без разницы
Разница есть - если у кого-то до сих пор SBR, то у меня есть ряд плохих новостей
Впрочем, RBR тоже можно сломать
источник

Е

Егор in SPb Reliability Meetup
Alexander 😼 Chistyakov
Разница есть - если у кого-то до сих пор SBR, то у меня есть ряд плохих новостей
Впрочем, RBR тоже можно сломать
иногда не все на 5.8...........
источник

Е

Егор in SPb Reliability Meetup
:D
источник

k

kSandr in SPb Reliability Meetup
Егор
нужно доносить мысль до сообщества, что программисты имеют непосредственную ответственность за продукт
честно говоря, устал рассказывать программистам что "нууу не надо так" , ибо они хотят и все тут ))) а если еще у разрабов карта покруче которая бьёт твою, то тут еще сложнее )
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Егор
иногда не все на 5.8...........
А что менялось в 5.8? GTID раньше приделали, вроде
источник