Что такое Big Data? 🗂
Это Петабайты сложной и необработанной информации, которая постоянно обновляется.
В 2016 году объем мирового рынка ПО, оборудования и сервисов в области бизнес-аналитики и работы с big data составил $130,1 млрд, из них $17 млрд — банковский сектор. С ростом рынка данных, растет и потребность бизнеса.
Например, Netflix предлагает контент, который в 80% случаев опирается на существующий пользовательский опыт зрителя и данные из аккаунтов на Facebook и Twitter. Для оптимизации выдачи сервис использует поисковые запросы пользователя, историю просмотров, информацию о повторных просмотрах, паузах и перемотках.
Как собирают Big Data?
Сам процесс сбора данных называют дата майнингом. Автоматизировать его можно с помощью специализированных приложений для бизнес-аналитики: например, Vertica, Tableau, Power BI или Qlik. Источниками могут быть:
— интернет — от соцсетей и СМИ до интернета вещей (IoT);
— корпоративные данные: логи, транзакции, архивы;
— другие устройства, которые собирают информацию, например, «умные колонки».
Как хранят Big Data?
Чаще всего «сырые» данные хранятся в data lake — «озере данных» в разных форматах и степенях структурированности.
Как работают с большими данными?
Когда данные получены и сохранены, их нужно проанализировать и представить в понятном для клиента виде: графиках, таблицах, изображениях или готовых алгоритмах. С этим отлично справляются отдельные технологии — СУБД NoSQL, алгоритмы MapReduce, R и Python, продукты Apache и Hadoop.
→
Читать статью полностью