Size: a a a

2020 November 02

Θ

Θεόδωρος in AWS_RU
Nikolay
S3 + spark. Запускаем EMR и храним все в s3
ну так спарк и будет вашим лейком, а с3 хранилищем объектов))
источник

Θ

Θεόδωρος in AWS_RU
для спарка
источник

VT

Victor Tur in AWS_RU
Θεόδωρος
ок, засунули вы туда выгрузку из сейлсфорса. какие инструменты с3 предоставялет для анализа данных?
давайте без споров и уходов в сторону терминологии dwh/pentaho/hadoop и прочего.
Пока в wiki написано - “A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files.”
на этом все.
источник

KT

Karen Tovmasyan in AWS_RU
Двачую этого ирландца!
источник

🔥S

🔥Ilya Sizov🔥 in AWS_RU
Ребят привет. Нужно выделить ключевые кадры из видео и/или определить сценарий. Какие самые бюджетные варианты подскажете ?
источник

Θ

Θεόδωρος in AWS_RU
Victor Tur
давайте без споров и уходов в сторону терминологии dwh/pentaho/hadoop и прочего.
Пока в wiki написано - “A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files.”
на этом все.
окок, тогда даталейк, как и fat32 впрочем))
источник

AT

Al T in AWS_RU
🔥Ilya Sizov🔥
Ребят привет. Нужно выделить ключевые кадры из видео и/или определить сценарий. Какие самые бюджетные варианты подскажете ?
Рилтайм или батч?
источник

🔥S

🔥Ilya Sizov🔥 in AWS_RU
Al T
Рилтайм или батч?
Рилтайм, но можно асинхронно.
источник

AT

Al T in AWS_RU
Kinesis video streams?
источник

🔥S

🔥Ilya Sizov🔥 in AWS_RU
Al T
Kinesis video streams?
Спасибо, посмотрим, это чем то будет отличаться от обработки, например, через ffmpeg ?
источник

AT

Al T in AWS_RU
ну managed service в отличие от ffmpeg
источник

AT

Al T in AWS_RU
хотя подкрутить в ffmpeg конечно можно больше если нужно
источник

🔥S

🔥Ilya Sizov🔥 in AWS_RU
Понял, спасибо за советы, посмотрю kinesis.
источник

AP

Alexander Patrushev in AWS_RU
Θεόδωρος
ок, засунули вы туда выгрузку из сейлсфорса. какие инструменты с3 предоставялет для анализа данных?
S3 select неплохо справится с частью задач.
источник

AP

Alexander Patrushev in AWS_RU
🔥Ilya Sizov🔥
Ребят привет. Нужно выделить ключевые кадры из видео и/или определить сценарий. Какие самые бюджетные варианты подскажете ?
Прогнать через AWS rekognition (или свою модель), и посчитать популярность (найти самые популярные) или ключевые метки (описание сцен, объектов)

Это как вариант.
источник

🔥S

🔥Ilya Sizov🔥 in AWS_RU
Alexander Patrushev
Прогнать через AWS rekognition (или свою модель), и посчитать популярность (найти самые популярные) или ключевые метки (описание сцен, объектов)

Это как вариант.
Спасибо, такой вариант тоже рассматриваю.
источник

AT

Al T in AWS_RU
вот кстати да, отличный вариант с rekognition он как раз использует kinesis video streams
источник

AP

Alexander Patrushev in AWS_RU
🔥Ilya Sizov🔥
Спасибо, такой вариант тоже рассматриваю.
Ещё вариант:
Натренировать свою модель multi label classificator на основе CNN алгоритма. Как вариант взять готовый алгоритм из AWS sage maker.
Тренировать будете на размеченном датасете, например кадров по 10 из каждого ролика + жанр к ним)
Потом так же и использовать: ответ модели по 10 кадрам и берём самый популярный жанр
источник

🔥S

🔥Ilya Sizov🔥 in AWS_RU
Alexander Patrushev
Ещё вариант:
Натренировать свою модель multi label classificator на основе CNN алгоритма. Как вариант взять готовый алгоритм из AWS sage maker.
Тренировать будете на размеченном датасете, например кадров по 10 из каждого ролика + жанр к ним)
Потом так же и использовать: ответ модели по 10 кадрам и берём самый популярный жанр
Выглядит сложно, но тоже посмотрим, спасибо.
источник

AP

Alexander Patrushev in AWS_RU
🔥Ilya Sizov🔥
Ребят привет. Нужно выделить ключевые кадры из видео и/или определить сценарий. Какие самые бюджетные варианты подскажете ?
Для того чтобы вытащить кадры лучше использовать elemental video convert. Вот прям статья, просто измените параметр maximum frames.

https://aws.amazon.com/blogs/media/create-a-poster-frame-and-thumbnail-images-for-videos-using-aws-elemental-mediaconvert/
источник