Size: a a a

2020 February 17

R

Roman 🇲🇪 in AWS_RU
Mike Smith
Всем привет - а подскажите сервис AWS ES - включает в себя логстейш(вроде нагуглил что нет) - и если нет - как более граммотно выстраить хранение и обработку логов?
По моему личному опыту logstash ноду лучше держать поближе к поставщику данных, например в том же кластере где крутиться filebeat. Но кроме них есть еще другие стеки, я знаю два, которые могут оказаться лучше.
источник

В

Владимир in AWS_RU
Vitali Baravikou
Йеп. Есть куча решений, зависит от желаемого. Можно скейлить только в 1 зоне, через нодаффинити с указанием региона, можно использовать стейтфулсет с сторейджклассом с включенным WaitForFirstConsumer, можно использовать EFS.
Одна зона не вариант, основная цель отказоустойчивость, реплика итак одна крутится. А вот данные на диске потерять нельзя, я ожидаю что он поедет в другую зону вместе с полезной нагрузкой. Спасибо, буду гонять EFS
источник

VB

Vitali Baravikou in AWS_RU
Так а количество реплик можно менять? Кроме одной? Если да, то проще же сделать стейтфулсет с подантиаффинити и потологией, и каждая реплика в каждую зону попадет
источник

В

Владимир in AWS_RU
Vitali Baravikou
Так а количество реплик можно менять? Кроме одной? Если да, то проще же сделать стейтфулсет с подантиаффинити и потологией, и каждая реплика в каждую зону попадет
Нет, одна реплика, общие конфиги и данные в разрезе приложения. Иначе получу разный набор данных.
Либо RWM нужно для PV, но тогда опять же EFS)
Спасибо за помощь. Сейчас клеймы переделаю и всё.
источник

VB

Vitali Baravikou in AWS_RU
Понял
источник

AP

Alexander Patrushev in AWS_RU
Владимир
Добрый день, коллеги
Неожиданно для себя, но поразмыслив, ожидаемо архитектурно наткнулся на проблему недоступности EBS в AZ отличной от изначальной.
Суть вопроса, в EKS создается PV и маунтится к ноде/поду, после чего кластер скалится и поды пытаются переехать на другую ноду в другой AZ. PV естественно не едет за ними, как результат отсутствие отказойстойчивости на уровне AZ.
Это решаемо?
Хранить данные в региональном сервисе. Например EFS или S3. Зависит от того, что это за данные, какая скорость (задержка и пропускная способность) и отказоустойчивость нужна.
источник

В

Владимир in AWS_RU
Alexander Patrushev
Хранить данные в региональном сервисе. Например EFS или S3. Зависит от того, что это за данные, какая скорость (задержка и пропускная способность) и отказоустойчивость нужна.
Совершенно не критично, EFS наш выбор.
источник

AP

Alexander Patrushev in AWS_RU
Владимир
Совершенно не критично, EFS наш выбор.
Ещё как вариант S3+AWS storage gateway (хоть блочный, хоть файловый). У storage gateway есть кэш. Но его нельзя пока сделать HA, те нужно автоматизировать поднятие второго в случае отвала первого.
источник

RU

Rinat Uzbekov in AWS_RU
Cesare Borgia
При смене команды человек проходит все 5 раундов или меньше?
Имеется ввиду переход между командами внутри AWS?
источник

C

Cesare Borgia in AWS_RU
Rinat Uzbekov
Имеется ввиду переход между командами внутри AWS?
Всего амазона. Насколько мне известно, то там не важно ты из ритейла в авс, или из авс в авс, все равно проходишь внутреннее интервью.
источник

C

Cesare Borgia in AWS_RU
Вот хотел узнать на сколько оно серьезное
источник

NS

Nikolay Skidanov in AWS_RU
такое же как извне
источник

RU

Rinat Uzbekov in AWS_RU
Cesare Borgia
Всего амазона. Насколько мне известно, то там не важно ты из ритейла в авс, или из авс в авс, все равно проходишь внутреннее интервью.
Да. Подход такой же. Неважно что внутреннее перемещение. Кроме конечно скрининга.
источник

A

Anton in AWS_RU
Alexander Patrushev
Блок для логики (if) называется choice (https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-choice-state.html). В SF вы можете передать хоть весь payload и первой же lambda задать параметры, которые вы будете проверять в choice.
Так получается мне нужно какие-то служебные Лямбды только для конвертации инпута в что-то поддерживаемое шагом Choice.
Иначе никак не обработать изменяемый payload где может быть секция или может не быть и порядок не контролируется.
К примеру на входе массив из обьектов сервисов в котором все параметры.

Допустим это не проблема, запустил параллельный разворот CFT.
В каждой бранче завершается все Хелсчеком.
В аутпуте получаю следующее, к примеру:
ParallelExecution:[
{
createdStackName": "auth-service-34523",
       isStackCreated: true,
},
{
createdStackName": "getaway-service-45213",
       isStackCreated: true
},
{
createdStackName": "store-service-5663",
       isStackCreated: false
}]

Мне стоит этот массив так же в какой-то сервисной лямбде в цикле обрабатывать и говорить что окружение готово или упало и идти на ролбек?

Мне здесь не нравится момент сокрытия логики в Лямбде, но других вариантов не вижу.
Так как для меня процесс управления инпут/атпут выглядит крайне не гибких на уровне SF.
источник

AV

Alexander Valkov in AWS_RU
Homulilly
о, а на го пишут для авс?
Вообще, на чём угодно можно писать лямбды.
Можно даже свой язык написать и на нём писать.

https://docs.aws.amazon.com/lambda/latest/dg/runtimes-custom.html
источник

A

Anvar in AWS_RU
Коллеги, подскажите плиз, это нормальный флоу и вообще возможно так реализовать:
1) Юзер с фронта стучится в Cognito - получает токен
2) Идет с этим токеном в API Gateway
3) В API Gateway отрабатывает лямбда, которая верифицирует токен, назначает роль юзеру и просаживает ниже в нужный микросервис.
Если пользователь пошел в gateway как аноним, и от микросервиса вернулась 401, то редиректить его на форму логина

дали кейс, избавиться от keycloak и zuul прокси в сторону средств aws
источник

RR

Roman Roman in AWS_RU
ой лол, Германия будет строить свое облако GAIA X
источник

RR

Roman Roman in AWS_RU
а вы над яндексом смеялись
источник

KT

Karen Tovmasyan in AWS_RU
Roman Roman
ой лол, Германия будет строить свое облако GAIA X
Атата!
источник

KT

Karen Tovmasyan in AWS_RU
Атата набрасывать в понедельник!
источник