Size: a a a

2021 February 11

AZ

Azamat Zhurtbayev in AWS_RU
Влад
Всем привет, интересует такой вопрос, есть AWS RDS, нужно чем то разворачивать последний снапшот, можно ли это организовать через lambda функцию или же aws codepipeline ?

к примеру, сейчас мы делаем это через jenkins, но будем от него отказываться, по этому ищем какой то сервис AWS куда перенести наши джобы
через лямбду точно можно сделать. а лямбду можно дернуть из пайплайна
источник

В

Влад in AWS_RU
ну тоесть это норм решение если мы будем джобы переводить на лямбду? а такой вопрос еще, как организовать там передачу параметров, например я хочу выбрать снапшот за определенную дату
источник

АП

Агент Печенька... in AWS_RU
Или custom resource в CloudFormation.
источник

В

Влад in AWS_RU
не, юзаем терраформ
источник

В

Влад in AWS_RU
но это только один пример, джоб много, они делают разные задачи, хотелось бы какой то интерфейс что бы можно было выбрать параметры и запустить
источник

В

Влад in AWS_RU
ну вообщем как дженкинс только на авс)
источник

D

Denis in AWS_RU
это ошибка в доке или aws ждет в input и отправляет в output невалидный json?
https://docs.aws.amazon.com/personalize/latest/dg/recommendations-batch.html

input

{"userId": "4638"}
{"userId": "663"}
{"userId": "3384"}


output

{"input":{"userId":"4638"}, "output": {"recommendedItems": ["296", "1", "260", "318"]}, {"scores": [0.0009785, 0.000976, 0.0008851]}}
{"input":{"userId":"663"}, "output": {"recommendedItems": ["1393", "3793", "2701", "3826"]}, {"scores": [0.00008149, 0.00007025, 0.000652]}}
{"input":{"userId":"3384"}, "output": {"recommendedItems": ["8368", "5989", "40815", "48780"]}, {"scores": [0.003015, 0.00154, 0.00142]}}


валидный так будет, так aws схавает?


input

[
{"userId": "4638"},
{"userId": "663"},
{"userId": "3384"}
]
источник

u

unnamed in AWS_RU
всем привет, немного не по сути но все в этом шарят:
Мне надо примаунтить /pub/media (как вольюм EFS) к контейнеру а потом примаунтить /pub/ просто как volume docker в ECS fargate, никто не сталкивался ?
источник

YA

Yury Alexandrov in AWS_RU
Влад
Всем привет, интересует такой вопрос, есть AWS RDS, нужно чем то разворачивать последний снапшот, можно ли это организовать через lambda функцию или же aws codepipeline ?

к примеру, сейчас мы делаем это через jenkins, но будем от него отказываться, по этому ищем какой то сервис AWS куда перенести наши джобы
Посмотри на step functions. Может оно
источник

YA

Yury Alexandrov in AWS_RU
Это лямбда с состояниями
источник

D

Denis in AWS_RU
Denis
это ошибка в доке или aws ждет в input и отправляет в output невалидный json?
https://docs.aws.amazon.com/personalize/latest/dg/recommendations-batch.html

input

{"userId": "4638"}
{"userId": "663"}
{"userId": "3384"}


output

{"input":{"userId":"4638"}, "output": {"recommendedItems": ["296", "1", "260", "318"]}, {"scores": [0.0009785, 0.000976, 0.0008851]}}
{"input":{"userId":"663"}, "output": {"recommendedItems": ["1393", "3793", "2701", "3826"]}, {"scores": [0.00008149, 0.00007025, 0.000652]}}
{"input":{"userId":"3384"}, "output": {"recommendedItems": ["8368", "5989", "40815", "48780"]}, {"scores": [0.003015, 0.00154, 0.00142]}}


валидный так будет, так aws схавает?


input

[
{"userId": "4638"},
{"userId": "663"},
{"userId": "3384"}
]
@patrick239 подскажешь?
источник

AP

Alexander Patrushev in AWS_RU
Denis
это ошибка в доке или aws ждет в input и отправляет в output невалидный json?
https://docs.aws.amazon.com/personalize/latest/dg/recommendations-batch.html

input

{"userId": "4638"}
{"userId": "663"}
{"userId": "3384"}


output

{"input":{"userId":"4638"}, "output": {"recommendedItems": ["296", "1", "260", "318"]}, {"scores": [0.0009785, 0.000976, 0.0008851]}}
{"input":{"userId":"663"}, "output": {"recommendedItems": ["1393", "3793", "2701", "3826"]}, {"scores": [0.00008149, 0.00007025, 0.000652]}}
{"input":{"userId":"3384"}, "output": {"recommendedItems": ["8368", "5989", "40815", "48780"]}, {"scores": [0.003015, 0.00154, 0.00142]}}


валидный так будет, так aws схавает?


input

[
{"userId": "4638"},
{"userId": "663"},
{"userId": "3384"}
]
Все верно в докуентации.
Есть предположить что у вас users это массив id, то собрать файл можно так:
users
# Write the file to disk
json_input_filename = "json_input.json"
with open(data_dir + "/" + json_input_filename, 'w') as json_input:
   
for user_id in users:
       json_input.write('{"userId": "' + str(user_id) + '"}
\n')

Вот тут есть пример как собирать файл и как разбирать ответный файл
https://github.com/aws-samples/amazon-personalize-samples/blob/master/next_steps/workshops/POC_in_a_box/05_Interacting_with_Campaigns_and_Filters.ipynb
источник

D

Denis in AWS_RU
Alexander Patrushev
Все верно в докуентации.
Есть предположить что у вас users это массив id, то собрать файл можно так:
users
# Write the file to disk
json_input_filename = "json_input.json"
with open(data_dir + "/" + json_input_filename, 'w') as json_input:
   
for user_id in users:
       json_input.write('{"userId": "' + str(user_id) + '"}
\n')

Вот тут есть пример как собирать файл и как разбирать ответный файл
https://github.com/aws-samples/amazon-personalize-samples/blob/master/next_steps/workshops/POC_in_a_box/05_Interacting_with_Campaigns_and_Filters.ipynb
спасибо, да придется так делать )
источник

S

Stefan in AWS_RU
всем привет
кто EKS юзает? вы сталкивались с проблемой TCP Retransmission на определенных кол-вах трафика?
снифал тачку в простое - всё зеленое в wireshark
снифаю во время трафла - появляются много TCP Retransmission пакетов

на тачках которые работают вне куба, просто на ec2 - всё зеленое при том что трафла много
источник

i

inqfen in AWS_RU
sysctl на нодах смотрел? Может быть по-разному настроено
источник

i

inqfen in AWS_RU
Если да, то меняй как тебе надо
источник

АП

Агент Печенька... in AWS_RU
Alexander Patrushev
Все верно в докуентации.
Есть предположить что у вас users это массив id, то собрать файл можно так:
users
# Write the file to disk
json_input_filename = "json_input.json"
with open(data_dir + "/" + json_input_filename, 'w') as json_input:
   
for user_id in users:
       json_input.write('{"userId": "' + str(user_id) + '"}
\n')

Вот тут есть пример как собирать файл и как разбирать ответный файл
https://github.com/aws-samples/amazon-personalize-samples/blob/master/next_steps/workshops/POC_in_a_box/05_Interacting_with_Campaigns_and_Filters.ipynb
Да, вопрос был в том почему aws требует не валидный json на вход.
источник

S

Stefan in AWS_RU
inqfen
Если да, то меняй как тебе надо
та там же огромные простыни😳
источник

i

inqfen in AWS_RU
Ну а ты как хотел)
источник

S

Stefan in AWS_RU
inqfen
Ну а ты как хотел)
думал ссылка на issue есть с это проблемой, которую давно решили)))
источник