Объемы информации, накапливаемой организациями, постоянно увеличиваются и в 2020 году составят, по оценкам Gartner и IDC, 44 зеттабайта данных (44 трлн гигабайт). Однако компании до сих пор учатся тому, как извлекать из данных полезную информацию. Проведенное провайдером инфраструктурных решений ЕМС и Institute for the Future исследование Information Generation показало: 52% компаний из разных стран и отраслей признают, что-либо не используют доступные им данные эффективно, либо тонут в объемах информации. Мало кто из респондентов подтверждает свое соответствие новым реалиям цифровизации общества и бизнеса. Только 12% могут прогнозировать новые рыночные возможности; еще столько же эффективно работают в режиме реального времени на всех уровнях компании.
В ЕМС считают, что ценность сегодня смещается с продуктов и услуг на создаваемую ими информацию. Осознают этот тренд и компании-заказчики. Так, 67% опрошенных в России организаций считают, что качество принятия решений повышается благодаря максимально возможному объему информации, предоставленной в нужное время. В первую очередь эти данные стремятся использовать для анализа поведения клиентов и предложения им персонализированного опыта. «Компаниям интересно, чтобы обработка данных служила для поиска ниш на рынке, указывала на слабые места бизнеса и увеличивала доход», — считает Сергей Золотарев, руководитель направления «большие данные» компании «EMC Россия и СНГ».
Аналитика данных стала значимым инструментом для эффективной работы с клиентами — как существующими, так и потенциальными, подтверждает Андрей Бурилов, директор департамента развития аналитических решений и системных сервисов компании «Сбербанк-Технологии». «Требования к аналитике расширялись по двум направлениях: знать больше о клиенте и знать о большем количестве потенциальных клиентов. Одновременно меняются и требования к скорости построения аналитики — все больше задач требуют оперативного обновления информации. Для их решения уже недостаточно использовать стандартный аналитический инструментарий в хранилище структурированных данных — мы должны уметь обрабатывать новые типы данных, и их разнообразие только увеличивается», — полагает эксперт.
В современной конкурентной среде выигрывает не только тот, кто быстрее, но и тот, кто лучше знает, что происходит на рынке, почему это происходит с его клиентами, и принимает решения, основываясь на фактах и аналитике, поясняет Андрей Алексеенко, глава компании Teradata в России, специализирующейся на решениях для хранения и обработки данных. «Это-то, что мы называем data-driven business —-то есть бизнес, основанный на данных», — поясняет Алексеенко.
Чего ждут от Big Data
Под термином Big Data заказчики подразумевают как сами данные (массив информации), так и их анализ (аналитические системы и специалисты), поясняют в ЕМС, считая более корректным термином Data Science, то есть «наука о данных, или интеллектуальный анализ данных».
Сергей Золотарев комментирует это следующим образом: по мере того как данные превращаются в стратегический актив компании, руководители меняют свое отношение к инструментам работы с ними. «Развитие идет в трех направлениях: инфраструктура, программное обеспечение, аналитики, способные работать с информацией. Компании начинают формировать отделы или специальные подразделения из data scientists, чья главная задача — алгоритмизация бизнеса через управление информацией и ПО. Предприятия ждут, что вендоры смогут предложить решения под релевантный тип данных, будь это быстрые данные или, наоборот, данные, которые можно лишь хранить. В части ПО компании заинтересованы в доступе к удобной платформе по обработке, консолидации сырых данных и приведению их в общий удобный формат для последующего анализа», — поясняет он.
По мере того как растет потребность в аналитике и у крупных, и у небольших по размерам компаний, растут и запросы к используемым инструментам. Сергей Шестаков, заместитель генерального директора по развитию бизнеса компании «Прогноз», отмечает, что пользователи как со стороны IТ, так и со стороны бизнеса ждут большей гибкости от современных BI-платформ. «IТ — в части разработки, кастомизации и интеграции с IТ-инфраструктурой заказчика. Бизнес-пользователи — большей гибкости в части «самообслуживания»: возможности создания отчетов, проведения всестороннего анализа данных пользователями напрямую, с минимальным участием IТ-специалистов», — уточняет эксперт.
Как говорит Андрей Алексеенко, все больше компаний сегодня приходят к пониманию того, что нельзя все данные зачесать под одну гребенку, построить их в один ряд и одинаково работать с ними. Возникают такие понятия, как связанные и несвязанные данные, промышленные и непромышленные данные, и такие инструменты, как аналитическая экосистема, которые позволяют бизнесу использовать любые данные в любое время для любых задач.
Для поиска скрытых закономерностей в накопленных массивах информации применяются инструменты Data Mining, которые относятся к классу инструментов advanced analytics (продвинутой аналитики), уточняют в компании — разработчике аналитических инструментов «Прогноз». Эксперты ЕМС поясняют, что Data Mining позволяет бизнесу повысить эффективность управленческих решений — благодаря тому что в сырых данных можно обнаружить неочевидные закономерности, знание которых поможет оптимизировать бизнес-процессы или точнее прогнозировать динамику тех или иных показателей.
Опыт компании «Прогноз», предлагающей аналитические инструменты не только на российском, но и на глобальном рынке, показывает, что возможности бизнес-аналитики формируют два вида бизнес-преимуществ. Во-первых, это качественные улучшения, которые иногда трудно точно измерить, — например, снижение трудозатрат, повышение прозрачности, повышение точности и скорости подготовки отчетов. Во-вторых, количественные изменения, показывающие конкретный рост эффективности и экономию затрат в измеримых показателях, которые, в свою очередь, определяют окупаемость внедренного решения.
Самый ощутимый эффект — когда технологии помогают сэкономить либо приносят дополнительный доход, резюмируют в Teradata: «Недавно Forrester провел исследование по результатам внедрения платформы Teradata Aster Discovery у одного из американских онлайн-ретейлеров. ROI составил 106% со сроком окупаемости 13,9 месяца, а суммарная выгода за три года составила $6,1 млн».
Большие данные в России
По данным исследования СNews, в России повышается готовность к проектам Big Data в разных отраслях экономики. 20% опрошенных компаний уже используют такие технологии, а 17% начинают экспериментировать с ними. Еще более трети респондентов в настоящий момент рассматривают такую возможность. Результаты опроса подтвердили, что банки, телеком и ТЭК являются основными потребителями технологий в России. К ним присоединяются, хотя и в меньшем количестве, компании из транспортной отрасли, ретейла, а также крупные промышленные предприятия.
Опрошенные компании уже испытывают определенные сложности, которые могут быть решены при помощи технологий Big Data. При этом половина опрошенных, а все они представляют крупный российский бизнес, сталкиваются в своей деятельности с объемами данных менее 100 терабайт. Лишь 13% оперируют объемами свыше 500 терабайт (в том числе 42% респондентов из телекома и 16% — из банков).
В Teradata отмечают, что лидерами в применении технологии больших данных остаются розничный банкинг и онлайн-ретейл, а по мере развития всеобщей мобильности и интернета вещей быстро наращивают свой аналитический арсенал телеком-компании.
Действительно, компания МТС активно использует методы анализа Big Data и инструменты бизнес-аналитики на основе геоданных, профиля потребления интернет-трафика, типов используемых абонентских устройств, круге общения, покупках, которые позволяют формировать индивидуальные предложения для клиентов, рассказывает Дмитрий Солодовников, руководитель направления по взаимодействию со СМИ департамента по связям с общественностью МТС. «С 2011 года компания использует решения Social Network Analysis и Real Time Marketing, которые анализируют потребление услуг связи, позволяя формировать индивидуальные маркетинговые предложения и давать обратившемуся в МТС абоненту персональные онлайн-рекомендации по выбору тарифа, подключению услуг и участию в специальных акциях, — дополняет представитель оператора. — В будущем мы видим преимущества использования Big Data в различных направлениях: прогнозирование моделей поведения абонентов, борьба с мошенничеством, разработка предложений на основе геотаргетинга, улучшение качества покрытия сети, партнерство с третьими сторонами в разработке новых поисковых и веб-сервисов и т.д.».
Один из самых высоких уровней осведомленности и аналитики в сфере Big Data отмечается в сегменте поисковых систем, считают в ЕМС. Они полностью строят свою работу на анализе данных пользователя и специфики его запросов, так же как и онлайн-ретейл, подразумевающий использование рекомендательной системы для товаров и услуг.
В традиционном ретейле интерес к технологиям Big Data и более глубокому анализу также растет. Начальник отдела приложений хранилищ данных X5 Retail Group Дмитрий Гусев отмечает, что приоритеты бизнеса в области аналитики в последние годы меняются в сторону повышения требований к производительности, визуализации, скорости разработки отчетов. При этом требуются усложнение аналитических алгоритмов и увеличение охвата пользователей. Более глубокая работа с данными уже отражается на эффективности — увеличиваются показатели производительности и качества работы процессов.
Отдельным пунктом идут государственные организации, говорит Андрей Алексеенко. Это структуры, которые исторически являются держателями больших данных, пусть и не в цифре. «Сейчас интересно наблюдать успехи по извлечению пользы из этих данных — и в первую очередь пользы для граждан», — добавляет эксперт.
Однако самыми заметными потребителями технологий Big Data в России пока остаются банки. В частности, их активно использует Сбербанк России. «У нас стартовали проекты по повышению эффективности продаж, борьбе с мошенничеством, улучшению технологии привлечения и удержания клиентов — все они требуют работы с большими данными, — рассказывает Андрей Бурилов из «Сбербанк-Технологий». — Мы применяем самые передовые решения, такие как последние версии Hadoop, Apache Spark, библиотеки машинного обучения, языки R и Scala. Также планируется применять инструменты для обработки потоков данных в режиме реального времени и самые передовые технологии параллельных вычислений в задачах анализа и оптимизации, массово-параллельную архитектуру, а также средства визуализации больших данных. Это даст нам возможность строить процесс принятия адресных решений на основе оперативных данных из разнородных источников».
Будущее Big Data
Дальнейшее продвижение больших данных в России будет зависеть от набора разных факторов, включая как наличие достаточного числа аналитиков, способных работать с данными, так и готовность к адаптации технологий у заказчиков, а также расширяющееся предложение рынка, отвечающее запросам бизнеса.
Андрей Бурилов подчеркивает, что в условиях постоянного роста объема информации и ее разнообразия важно видеть всю картину целиком и находить взаимосвязи данных для принятия решений. По его мнению, здесь важную роль играет как способ представления информации — графы, связи, так и возможность машинного обучения — инструментария, способного автоматически перебирать множество возможных входных параметров из различных источников данных, подбирая наиболее значимые сигналы, трансформируя и адаптируя методы обучения моделей. «Рынок подобных приложений очень молодой, активно развивающийся, и мы пристально следим за всеми появляющимися новинками», — рассказывает он.
Технологически будущее Big Data видят в ЕМС за такими явлениями, как обработка данных в режиме реального времени (Realtime Data), и платформами, позволяющими проводить анализ данных любого объема в конкретных отраслях. Особое внимание будет уделено тем данным, которые позволят предсказать эффективность коммуникации с пользователем: истории его реакции на конкретный канал коммуникации. В «Прогнозе» отмечают новые тренды: ориентацию на «самообслуживания» при подготовке данных (Self Service Data Preparation), а также повышение уровня«мобильности» аналитических инструментов. Концептуально же само понятие «большие данные» в ближайшие годы может исчезнуть, считает технический директор Teradata Стивен Бробст, — останутся-либо просто «данные», либо «умные данные».
«Озеро» данных
Data Lake — хранилище больших объемов данных в сыром, необработанном виде. «Озеро» позволяет анализировать различные несопоставимые данные в их оригинальном формате и не требует больших затрат на хранение и обработку. Данные из «озера» могут быть доступны любым пользователям в компании.
В отличие от традиционных хранилищ, где данные структурированы, «озера» позволяют дешево хранить любые типы данных, поступающих из различных источников, в разном виде (включая аудио, видео и проч.).
Однако появление «озер» данных в организации может нести и риски. Например, невозможно определить качество помещаемых данных, а доступ к ним не контролируется. Главный риск — что со временем «озеро» превратится в «болото», откуда невозможно будет извлечь никакую ценность.
Спрос на умные головы растет
По оценке аналитического подразделения департамента информационных технологий Москвы, спрос на аналитиков данных (data scientist) на московском рынке труда за 2014 год вырос на 102%. Две трети таких специалистов имеют высшее техническое образование. Среди аналитиков почти 45% женщин, при этом их доля среди руководителей аналитических подразделений составляет рекордные 65%. Средний возраст аналитика данных — 34 года, уровень заработной платы — примерно 95 тыс. руб. в месяц.
