Большие данные: погружение и понимание

Анализ больших данных способен решить множество прикладных задач в самых различных отраслях: помочь бизнесу стать более эффективным, прозрачным и предсказуемым, сэкономить затраты и т.д. Вместе с тем, существует ряд подводных камней, которые могут подстерегать аналитиков в процессе понимания предметной области, подготовки и сбора информации. Незнание этих специфических особенностей может повлечь за собой серьезные и трудноисправимые ошибки в ходе реализации проекта, вплоть до его полной неудачи. О них мы сегодня и поговорим.

Один из самых главных моментов заключается в понимании предметной области. Проще говоря, аналитик, осуществляющий проект в области больших данных в той и иной отрасли, должен досконально разбираться во всех ее особенностях. Приведем конкретный пример. В сфере транспортной логистики требуется прогнозировать время прибытия вагона в заданную точку. Аналитик выстраивает прогноз на основе неких имеющихся у него данных, однако при этом он не всегда понимает, что в реальности может происходить с указанным транспортным объектом, то есть вагоном. Но ведь помимо движения из пункта А в пункт Б, с вагоном происходит множество других событий: мойка, погрузка, разгрузка, технический осмотр и т.д. Бывают и другие сложности, такие как изменение станции назначения, изменение поставленной задачи, без изменения исходных данных. К примеру, нам приходится решать задачу, связанную с контейнерными перевозками, а в наших исходных данных присутствуют станции, через которые контейнерные перевозки просто не осуществляются. Все эти факторы необходимо учитывать. Это и есть знание предметной области.

Большие данные сегодня все чаще используются в области предиктивной аналитики, связанной с работой промышленного оборудования. Благодаря им мы можем предсказать выход из строя агрегатов и узлов, что позволит своевременно отремонтировать их, избежав простоев и убытков. Последствия таких поломок могут кардинально отличаться. Если выйдет из строя сельскохозяйственная машина, последствия будут одни, если произойдет сбой в оборудовании пассажирского самолета — совершенно другие. Но во всех случаях, чтобы избежать подобных инцидентов, нам необходимы исходные данные, в основе которых лежит информация о работе именно этих узлов и агрегатов, в различных условиях и при различных нагрузках, о типичных поломках и т.д. Только оперируя этими данными, мы сможем получить наиболее точный и обоснованный прогноз. Это тоже называется погружением в предметную область. Пример с авиацией особенно показателен. Остановимся на нем поподробнее. Итак, перед нами стоит задача предсказывать внеплановые поломки частей самолета и дать рекомендации по их митигированию (минимизации последствий рисков). После каждого полета нам доступно множество логов информации о работе всех систем воздушного судна. От нас требуется производить онлайн-диагностику всех систем, чтобы минимизировать количество задержек рейсов по техническим причинам, из-за возможных поломок оборудования.

Чтобы это сделать, мы находим корреляцию между логами датчиков и фактами поломки оборудования. Таким образом, За счет своевременного технического обслуживания мы получаем уменьшение числа задержек рейсов до 3%, и, в целом, снижение простоя воздушных судов на 52%. Это дает возможность авиакомпании добавить 460 летных часов в год. Кроме того, снижение отмен и задержек рейсов повышает лояльность клиентов, что очень важно на высококонкурентном рынке авиаперевозок.

Другой пример связан с производством стали на литейных предприятиях. Качество стали задается ее химическим составом. Для того, чтобы обеспечить должный уровень качества, предприятия вынуждены перестраховываться, добавляя дорогостоящие ферросплавы. Аналитический сервис принимает данные по исходному составу и массе шихты (т.е. смеси исходных материалов для производства стали), требования по содержанию химических элементов в готовой стали, а также другие параметры плавки. Затем он в реальном времени выдает оператору рекомендации по использованию ферросплавов и добавочных материалов. Эти рекомендации позволяют сталеварам оптимизировать расход этих материалов, и получать сталь с заданным химическим составом. Таким образом, предприятие в среднем экономит до 5% ферросплавов в год, что составляет свыше 200 млн рублей.

Помимо глубокого знания предметной области, необходимо четко понимать, как разработанный нами аналитический продукт будет интегрирован в бизнес-процессы заказчика, с какими системами он будет взаимодействовать для того, чтобы принести максимальный эффект. Это нужно сделать на самом начальном этапе, а уже затем можно приступать к сбору данных, построению аналитических моделей с проверкой их достоверности и.т.д. Также одним из ключевых факторов, влияющих на успех Big Data - является наличие бизнес-заказчика.

Казалось бы, какой проект без заказчика? Но здесь нужен не просто абстрактный интерес подразделения предприятия к такому проекту, а наличие ответственного заказчика, который может обеспечить выделение ресурсов, времени, бюджета, и при этом принимать непосредственное участие на всех этапах реализации проекта, поскольку он в нем кровно заинтересован. Такой заказчик способен взять на себя ответственность за результаты проекта, отчитаться за него. При необходимости он также должен быть готов поменять свои бизнес-процессы. Каким образом мы можем применять эти бизнес-процессы? На эти вопросы отвечают бизнес-аналитики. Это специалисты, которые работают на стороне подрядчика, однако они досконально разбираются в специфике бизнеса заказчика, зачастую не хуже, а то и лучше его собственных сотрудников, при этом умеют говорить с бизнесом на понятном ему языке. Они смотрят на задачу "глазами" бизнеса, а затем уже ставят задачу разработчикам аналитической модели. Во многих случаях, как выясняется, такая задача не представляет собой ничего сверхсложного.

Итак, технологии больших данных позволяют решить множество бизнес-задач, дешевле, быстрее и эффективнее, чем если бы этим занимались живые сотрудники. Однако чтобы такие проекты были успешны, нужно подходить к ним с глубоким пониманием проблемы и всесторонним анализом.