У меня тут задача:

1. По графику запускать импорт данных скриптом.
2. Запускать тесты на импортированных данных.
3. а. Fail тестов -> отчёт в SNS
3. b. Success тестов -> отчёт в SNS (?)
4. При 3.b. запускать другой импорт данных.

Оба импорта проходят за ~5 минут.

Думаю, как сделать.

Варианты:

1. CloudWatch Events Rule по графику -> Lambda импорт -> SNS -> тесты -> SNS -> On Success Lambda import #2

2. Комбинация AWS Batch, AWS Step Functions, ... ?

AWS Batch для быстрых заданий выходит, кажется, очень дорого, даже со спотом. 7 запусков hello world на спотах обошлись мне в $0,13
И непонятно, может ли SNS запускать Batch Jobs? И если нет, это значит Step Functions?

У меня тут задача:

1. По графику запускать импорт данных скриптом.
2. Запускать тесты на импортированных данных.
3. а. Fail тестов -> отчёт в SNS
3. b. Success тестов -> отчёт в SNS (?)
4. При 3.b. запускать другой импорт данных.

Оба импорта проходят за ~5 минут.

Думаю, как сделать.

Варианты:

1. CloudWatch Events Rule по графику -> Lambda импорт -> SNS -> тесты -> SNS -> On Success Lambda import #2

2. Комбинация AWS Batch, AWS Step Functions, ... ?

AWS Batch для быстрых заданий выходит, кажется, очень дорого, даже со спотом. 7 запусков hello world на спотах обошлись мне в $0,13
И непонятно, может ли SNS запускать Batch Jobs? И если нет, это значит Step Functions?

У меня тут задача:

1. По графику запускать импорт данных скриптом.
2. Запускать тесты на импортированных данных.
3. а. Fail тестов -> отчёт в SNS
3. b. Success тестов -> отчёт в SNS (?)
4. При 3.b. запускать другой импорт данных.

Оба импорта проходят за ~5 минут.

Думаю, как сделать.

Варианты:

1. CloudWatch Events Rule по графику -> Lambda импорт -> SNS -> тесты -> SNS -> On Success Lambda import #2

2. Комбинация AWS Batch, AWS Step Functions, ... ?

AWS Batch для быстрых заданий выходит, кажется, очень дорого, даже со спотом. 7 запусков hello world на спотах обошлись мне в $0,13
И непонятно, может ли SNS запускать Batch Jobs? И если нет, это значит Step Functions?

У меня тут задача:

1. По графику запускать импорт данных скриптом.
2. Запускать тесты на импортированных данных.
3. а. Fail тестов -> отчёт в SNS
3. b. Success тестов -> отчёт в SNS (?)
4. При 3.b. запускать другой импорт данных.

Оба импорта проходят за ~5 минут.

Думаю, как сделать.

Варианты:

1. CloudWatch Events Rule по графику -> Lambda импорт -> SNS -> тесты -> SNS -> On Success Lambda import #2

2. Комбинация AWS Batch, AWS Step Functions, ... ?

AWS Batch для быстрых заданий выходит, кажется, очень дорого, даже со спотом. 7 запусков hello world на спотах обошлись мне в $0,13
И непонятно, может ли SNS запускать Batch Jobs? И если нет, это значит Step Functions?

У меня тут задача:

1. По графику запускать импорт данных скриптом.
2. Запускать тесты на импортированных данных.
3. а. Fail тестов -> отчёт в SNS
3. b. Success тестов -> отчёт в SNS (?)
4. При 3.b. запускать другой импорт данных.

Оба импорта проходят за ~5 минут.

Думаю, как сделать.

Варианты:

1. CloudWatch Events Rule по графику -> Lambda импорт -> SNS -> тесты -> SNS -> On Success Lambda import #2

2. Комбинация AWS Batch, AWS Step Functions, ... ?

AWS Batch для быстрых заданий выходит, кажется, очень дорого, даже со спотом. 7 запусков hello world на спотах обошлись мне в $0,13
И непонятно, может ли SNS запускать Batch Jobs? И если нет, это значит Step Functions?

Batch это бесплатный оркестратор, который использует бесплатный ecs для запуска контейнеров на платном ec2.
Ec2 практически всегда дешевле lambda при сравнении в лоб.

Мне больше нравится lambda + step function.
Из плюсов то что падение лямбды будет автоматически обработано step function.

Event rule хороший вариант и может дёргать lambda.

Можно ещё как вариант вместо step function сделать несколько sqs топиков.

> Ec2 практически всегда дешевле lambda при сравнении в лоб.

Ну я думаю 7 запусков hello world на лямбде точно не будут стоить $0.13

> Ec2 практически всегда дешевле lambda при сравнении в лоб.

Ну я думаю 7 запусков hello world на лямбде точно не будут стоить $0.13

Я бы тут попробовал разобраться. Было утверждение что это стоимость batch, который бесплатный. Что именно стоило 0.13$ можно понять только из разбивки billing которая нам с вами не известна.

SNS, может быть?

Нет, именно sqs.
Идея step function это определение конкретных шагов и контроль их исполнения. Вы можете создать несколько топиков в sqs и передавать задачу из одного в другой в конце каждого шага. При плавлении задачи в очередь ее возьмёт обработчик и после выполнения в зависимости от результата положит в другую очередь где ее уже возьмёт ещё кто-то.

Это стоимость спотов, конечно же.

Это стоимость спотов, конечно же.

Те это прям строчка ec2 spot? А что был за инстанс?