Коллеги, прошу дать фидбэк по грамотности нижеприведенного подхода:
Шаг 1. Spider (задеплоен на Scrapy Cloud) через item pipeline кладет данные на S3 Шаг 2. AWS lambda по ивенту появления CSV файла на S3 забирает из него строки и кладет в RDS (при этом в SQL запросе делается проверка на предмет уже существующей такой строчки в таблице для предотвращения дубликатов)