O
Что только не придумают, чтобы не препроцессить данные:)
Size: a a a
2021 March 20
IV
уже начал пилить poc вчера используя object lambda, тема крутая, открываются интересные возможности
MS
уже начал пилить poc вчера используя object lambda, тема крутая, открываются интересные возможности
расскажи что делаешь
O
уже начал пилить poc вчера используя object lambda, тема крутая, открываются интересные возможности
Любопытня штуковина но почему то мне кажется, что препроцессить данные до хранения будет на порядки дешевле, нет?
O
Ну исключая кейсы "я заранее не подумал". С другой стороны, мы тут вроде все существуем чтобы как раз думать заранее:)
O
Но мне если что все равно очень интересно что ты начал пилить:)
O
Ну исключая кейсы "я заранее не подумал". С другой стороны, мы тут вроде все существуем чтобы как раз думать заранее:)
Я еще немного подумал и придумал несколько юзкейсов, где наверно оно бы и правда пригодилось. Уникальные динамические трансформации все-таки могут быть и имеют право на жизнь. Но все равно смущает.
IV
расскажи что делаешь
у меня платформа для ml нужд и всего такого.
было принято осознаное архитектурное решение что все модели работают с локальными файлами, без доступа в бд.
поэтому вся автоматизация очень сильно завязана на S3
для нужд backtesting нужно заранее готовить различные дата сеты и иногда данные нужны брать прямо из hot storage внешней системы. раньше был отдельный процесс который сперва выгружал данные, а затем запускал backtesting, но сейчас есть возможность заменить процесс на object lambda.
было принято осознаное архитектурное решение что все модели работают с локальными файлами, без доступа в бд.
поэтому вся автоматизация очень сильно завязана на S3
для нужд backtesting нужно заранее готовить различные дата сеты и иногда данные нужны брать прямо из hot storage внешней системы. раньше был отдельный процесс который сперва выгружал данные, а затем запускал backtesting, но сейчас есть возможность заменить процесс на object lambda.
IV
Любопытня штуковина но почему то мне кажется, что препроцессить данные до хранения будет на порядки дешевле, нет?
еще удобно когда продают данные и в зависимости от лицензии тебе доступны определенные строки или колонки. с object lambda не придется создавать derived dataset под каждого клиента
O
еще удобно когда продают данные и в зависимости от лицензии тебе доступны определенные строки или колонки. с object lambda не придется создавать derived dataset под каждого клиента
Угу, хороший кейс. Еще кэширования достыпать и вообще неплохо получится.
IV
есть еще крутой кейс - следить кто запрашивает данные с твоего S3, благо в event есть userIdentity
IV
удобно что наконец-то можно вешать свой обработчик на on object read
IV
в том же CloudFront это давно уже было через viewer/origin request через lambda @edge
IV
теперь доступно и в s3
O
есть еще крутой кейс - следить кто запрашивает данные с твоего S3, благо в event есть userIdentity
а эти данные нельзя вытащить из s3 access log?
O
Но вообще да, в целом есть простор для творчества. Жалко что оно непортабельное получается как-то ну совсем:(
IV
а эти данные нельзя вытащить из s3 access log?
можно, здесь просто еще появляется возможность ответить пустым файлом если в реквестер в блеклисте
O
Shadow ban.. хм. Но такой механизм выглядит интересным способом немного слить бюджет. S3 запрос то ничего не будет стоить при запрете доступа, а тут все побиллится.
O
Это кстати интересная тема. Что в лямбде+edge, что в лямбде+s3, что просто в лямбде я не очень представляю, как в этом случае ограничивать подобное условное злоупотребление, ручек то наружу считай не торчит. То есть да, все прекрасно, ты отскейлишься и не упадешь, но это очень неприятно будет есть бюджет и самое главное совершенно непонятно какую автоматику и как вкручивать в этом месте.
O
Особенно если учесть, что в security group, даже если оно там возможно (а на сколько я помню их там нет), невозможно добавить какое-либо относительно значимое количество правил для фильтрации этого трафика хотя бы по ip (классический fail2ban условно).