По прогнозу компании IDC, объем данных в мировом масштабе ежегодно будет расти примерно на 61%. К 2025-му этот показатель достигнет 175 Збайт. Во времена, когда информация генерируется очень быстрыми темпами, важная роль отводится ее обработке и анализу. Для решения этих задач используют технологии Big Data. Рассмотрим подробнее, что такое большие данные, в чем их особенности и где их применяют.

Что такое Big Data?

Big Data (большие данные) – это различные методы обработки структурированных и неструктурированных данных большого объема для использования их с целью решения различных задач.

Впервые термин Big Data появился в 2008 году. Его ввел редактор журнала Nature Клиффорд Линч. Это понятие использовали в спецвыпуске издания, которое посвятили активному росту объемов информации по всему миру.

Несмотря на столь недавнее появление термина, большие данные существовали и раньше, однако они не представляли большой ценности, поскольку для изучения информации требовались существенные вычислительные мощности, большое количество времени и высокие финансовые затраты. С появлением технологий для обработки многогигабитных данных (платформы Hadoop) ситуация изменилась, и Big Data нашли применение в разных сферах.

Ключевые характеристики Big Data

Согласно компании Meta Group, у Big Data есть три ключевые характеристики – так называемые 3V: Volume, Velocity и Variety.

• Volume – большой объем данных;
• Velocity  – регулярное обновление данных и постоянная их обработка;
• Variety – возможность одновременной обработки разных типов информации: текста, изображений, видео и т. д.

Так как технология Big Data постоянно развивалась, со временем в компании IBM предложили дополнить этот список четвертым V– veracity (достоверностью). В IDC в перечень добавили viability (жизнеспособность) и value (ценность).

Откуда берутся данные и в чем их преимущества?

Главный генератор данных – это человек. Пользователи оставляют за собой информационный след, посещая различные сайты, делая запросы в поисковых системах, оформляя заказы в интернет-магазинах, используя IoT-устройства и т. д.

К ключевым источникам больших данных относят:

• информацию из Интернета: социальных сетей, блогов, СМИ, форумов, сайтов;
• показания различных устройств: IoT-датчиков, аудио- и видеорегистраторов, умных гаджетов, смартфонов, сотовой связи и т. д.;
• корпоративные сведения: архивы, внутренние сведения предприятий и организаций и др.

Благодаря аналитике больших данных (Big Data Analytics), можно быстро и качественно интерпретировать разную информацию, находить закономерности и составлять прогнозы. Например, с помощью Big Data определяют, в какой части города существует потребность в определенных товарах или услугах, какая продукция заинтересует потенциальных покупателей, предсказывают всплески заболеваний и даже места, где вероятнее всего произойдут преступления. Чем больше сведений удастся изучить, тем точнее будет конечный результат.

Например, метеорологи берут данные о погоде за последние 100 лет и анализируют их. В результате они выявляют закономерности, в какой период года/месяца наступает потепление, похолодание или начинается сезон осадков. На основе этих сведений они могут спрогнозировать погоду на ближайший период.

Методы анализа больших данных

Большие объемы информации сами по себе бессмысленны для человека. Чтобы их применить для достижения какой-либо цели, данные необходимо проанализировать. Для обработки сведений используют различные инструменты, перечень которых постоянно обновляется. Среди них выделяют следующие техники и методики:

• сlassification – для предсказания поведения потребителей в определенном сегменте рынка;
• сluster analysis – для классификации объектов по группам благодаря выявлению их общих признаков;
• сrowdsourcing – для сбора информации из большого количества источников;
• data mining – для обнаружения ранее неизвестных и полезных сведений, которые пригодятся для принятия решений в различных сферах;
• machine learning – создание нейронных сетей, которые самообучаются, а также качественно и быстро обрабатывают информацию;
• signal processing – для распознавания сигналов на фоне шума и их дальнейшего анализа;
• смешение и интеграция – для преобразования данных в единый формат (к примеру, превращение аудио- и видеофайлов в текст);
• unsupervised learning – для выявления скрытых функциональных взаимосвязей в данных;
• визуализация – для представления результатов анализа в виде диаграмм и анимации.

Сферы применения Big Data

Сегодня Big Data помогают решать различные задачи во многих сферах, среди них: ритейл, медицина, финансы, промышленность, энергетика, туризм, экология, развлечения. Благодаря обработке и анализу большого массива данных, представители власти, бизнеса, науки, разработчики и другие заинтересованные лица улучшают качество товаров и услуг, развивают бизнес.

В Украине большие данные используют мобильные операторы. Они анализируют информацию о том, как перемещаются их абоненты. Это помогает решать различные задачи. Например, технологии Big Data позволяют определять, по каким дорогам чаще ездят украинцы. На основе полученных сведений выделяют автомагистрали, которые нуждаются в ремонте в первую очередь.

Широкое применение Big Data нашли в области ритейла. Они помогают компаниям находить территории с их целевой аудиторией и определять, где существует необходимость в новых магазинах. Такой подход используют Vodafone (Украина), сети «АТБ-Маркет», «Сильпо» и т. д.

В Киеве Big Data применяли для определения районов с заполненными детскими садами, отслеживания пассажиропотока и оптимизации маршрутов общественного транспорта.

Итог

С развитием технологий в мире значительно возросло количество данных. Технологии Big Data позволяют качественно и оперативно извлекать пользу из этого массива информации. С их помощью государственные структуры и представители бизнеса оптимизируют различные процессы, а конечные потребители получают более качественные услуги.