Size: a a a

SPb Reliability Meetup

2019 January 15

Е

Егор in SPb Reliability Meetup
я инвалид и в расте не смог подружить grpc с tokio
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
То есть, простой ответ: "Докинем, рестартнем постгрес, пойдем спать"
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
Alexander 😼 Chistyakov
Но, с другой стороны - опытным путем я знаю, что достижимый лимит для постгреса это где-то 2000+ коннектов
на самом деле там было 500 коннектов. И даже этого много — постгрес уже на 200 активных запросах пытается умереть.
источник

Е

Егор in SPb Reliability Meetup
Vitaliy Levchenko
tl;dr в итоге при спайке появлялась 1000 транзакций, которые после таймаута от внешней системы пытались получить коннект от БД. Но все коннекты заняли сами.
так это просто отлавливается проверкой того сколько воркеров
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
А непростой ответ - когда вы уже перестанете писать софт, который требует 1000 коннектов?
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
Alexander 😼 Chistyakov
То есть, простой ответ: "Докинем, рестартнем постгрес, пойдем спать"
фишка в том, что 500->1000 коннектов не помогло бы
источник

Е

Егор in SPb Reliability Meetup
это work_mem * workers_limit
источник

VG

Valentine G in SPb Reliability Meetup
Егор
так это просто отлавливается проверкой того сколько воркеров
это проверяется сбором метрик за какое время мы получаем ответ от внешней системы
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
> постгрес уже на 200 активных запросах пытается умереть.

А?
источник

Е

Егор in SPb Reliability Meetup
Valentine G
это проверяется сбором метрик за какое время мы получаем ответ от внешней системы
и это в частности
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Это почему он пытается умереть?
источник

Е

Егор in SPb Reliability Meetup
Vitaliy Levchenko
на самом деле там было 500 коннектов. И даже этого много — постгрес уже на 200 активных запросах пытается умереть.
у нас и по 500 бывает
источник

Е

Егор in SPb Reliability Meetup
норм варит
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
Alexander 😼 Chistyakov
А непростой ответ - когда вы уже перестанете писать софт, который требует 1000 коннектов?
это был софт, который не должен был требовать столько коннектов
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Я же не просто так про лимит в 2000+ знаю - у меня на проекте были эти 2000+
источник

Е

Егор in SPb Reliability Meetup
с пулером конечно покруче
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Потому что - ну, технический долг, да
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Vitaliy Levchenko
фишка в том, что 500->1000 коннектов не помогло бы
А по причине?
источник

VL

Vitaliy Levchenko in SPb Reliability Meetup
Егор
так это просто отлавливается проверкой того сколько воркеров
это были не воркеры, а асинхронно обрабатываемые запросы из веба.
источник

AC

Alexander 😼 Chistyakov in SPb Reliability Meetup
Так, погодите
А почему ситуация не приходила в норму сама собой?
источник