Size: a a a

SPb Reliability Meetup

2019 January 15

VL

Vitaliy Levchenko in SPb Reliability Meetup
более никаких значимых локов не видно
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Vitaliy Levchenko
ок. Посмотрели. Не через gdb, просто взяли дамп всех потоков. Увидели, что 100500 горутин ждут коннекта от базы
Что кагбе говорит нам, что в пуле закончились коннекшны, верно?
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
А закончились они, потому что в существующих происходит какая-то работа
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
Alexander 😼 Chistyakov
Что кагбе говорит нам, что в пуле закончились коннекшны, верно?
таки да. Беда в том, что приложение обычно использует 1-10 потоков. А тут меньше чем за минуту внезапно съедает все и умирает.
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Но ведь там происходит idle in transaction - то есть, никакой работы
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
при этом долгих запросов в slow log нет
источник

Е

Егор in SPb Reliability Meetup
ну смотреть надо нетстат
источник

Е

Егор in SPb Reliability Meetup
смотреть какие коннекты залипли
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
За исключением базового вопроса - а если у тебя нет никакой работы, что ты делаешь in transaction тогда, м?
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
@un000 вот эти залипли
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
транзакция короткая. Прочитать, спросить внешний сервис (≈1мс), обработать, записать в 4 таблицы.
в любом случае это длинный рефакторинг, а продакшн прямо сейчас не работает.
источник

Е

Егор in SPb Reliability Meetup
остановить врайтеры
источник

Е

Егор in SPb Reliability Meetup
откатить релиз
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Абажжите
источник

Е

Егор in SPb Reliability Meetup
ну с чего бы там залипону случаться
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
WTF
источник

Е

Егор in SPb Reliability Meetup
если все работало
источник

Е

Егор in SPb Reliability Meetup
с сетью траблы - коммит не проходит
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Еще раз повторю свой вопрос - если транзакция короткая, как мы в ней айдлимся тогда?
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
Егор
с сетью траблы - коммит не проходит
сеть — как психосоматика. Если не знаешь, в чём проблема — виновата сеть
источник