Подскажите, в какую сторону копать?
Есть клустер в AWS, поднятый терраформом. Поставил туда autoscaler - все работает (ноды создаются\удаляются), но теперь при попытке сделать kubectl exec в подах, созданных на нодах от автоскейлера, получаю
error: unable to upgrade connection: Authorization error (user=kube-apiserver-kubelet-client, verb=create, resource=nodes, subresource=proxy)

#воскресное

How to start your blog

https://luminousmen.com/post/how-to-start-your-blog-for-20-cents

ага тоже сталкивались, у нас это происходит когда лямбда за таймаут не успевает отвечать (там в лямбде есть ну скажем так не самый удачный код который долго иногда работает и надо бы отрефакторить но клиенту и так норм)

ой да там там и другие символы есть проблемные, пришлось в cloudflare костылить чтобы такие символы не долетали до API GW. Это конечно позор какой-то что у амазона такое вообще может быть

99% это оно. Нужно глянуть сколько лямбда выполнялась и сколько в API GW ждет ответ https://docs.aws.amazon.com/apigateway/latest/developerguide/limits.html#api-gateway-execution-service-limits-table (там немного мутновато с типами)

Такой ошибки не видел и сходу сложно сказать, а у подов в describe все норм? Сеть есть, траффик на них заходит? Я бы ещё глянул логи кублета, по ощущениям ноды то ли недозарегались в мастерах, то ли с kubeproxy конфигом что-то.

В общем, нода была закордонена через node termination handler. Видимо в этом причина. Хотя текст ошибки не интуитивный

О интересно, спасибо - буду знать в следующий раз 🙂

Второе открытие для меня: даже после анкордона, удаления тэинтов и рестарта кубелета нода так и не вернулась в статус ready. Пришлось ее ребутать

там наверное какой-то скрипт в cfn-init или ещё что-то кроме самого кублета отвечает за подключение к EKS

Возможно, ещё не копал вглубь

Трудно наверное отдебажить... там код банальный- один инсерт в монгу.
Я временно полечил через провизенед конкаренси...

Я грешу ещё на размер лямды ... 40 мб. Но я не уверен что это сильно влияет

Так а сколько Лямбда выполняется? вот в той ссылке с лимитами говорится, что Integration timeout - 29seconds max.  Профильтруй логи лямбд  на предмет Execution time  и  понятно будет, связано или нет.

Ок, в понедельник займусь....

Спасибо! А может и раньше...

Товарищи, подскажите как правильно реализовать схему логирования, когда есть множество саб аккаунтов, в каждом бегает кубер, идея установить в кубер fluent-bit и слать логи в cloudwatch, но хотелось бы слать в один отдельный саб аккаунт. Если я правильно понимаю, то с fluent-bit из коробки так не сделать и требуется использовать дополнительные компоненты, по мануалам вроде как предлагается использовать Amazon Kinesis Firehose, подскажите какой способ был бы наиболее корректный?

Kinesis Firehose как минимум будет дешевле, если логи ещё и жать в нем и складывать в S3

ок то есть Kinesis адекватный вариант получается для такой задачи, спасибо