Внедрение Machine Learning — способ ускорить рост бизнеса

Может ли машинное обучение заменить целый департамент развития? Как алгоритмы принимают решения и увеличивают прибыль бизнеса, рассказывает заместитель генерального директора компании SimbirSoft Алексей Флоринский.

Под машинным обучением следует понимать набор алгоритмов, которые базируются на методах математической статистики, теории вероятностей, численных методах, теории графов и других разделах. В прошлом веке они представляли интерес лишь для фундаментальной науки и серьезных инженерных разработок — только самые передовые мозговые центры планеты могли позволить себе сложные многопоточные вычисления с высокими требованиями к мощности оборудования.

Сейчас технологии достигли такого уровня, при котором даже пользовательские устройства могут брать на себя задачу обработки big data. Современное машинное обучение — это также новейшие алгоритмы, способные находить закономерности в гигантских массивах данных.

Это означает почти безграничные возможности — средствами глубинного анализа можно выявить и предсказать дальнейшее развитие событий во многих сферах, а также восполнить пробелы в прошлых наблюдениях. Алгоритмы оказывают помощь в принятии решений, непрерывно подбирая наилучшие параметры любого процесса:

- Каждую минуту цены на ваш товар обновляются и даже подбираются автоматически для каждого клиента, чтобы он наверняка совершил покупку и принёс максимальную прибыль.

- Ежедневно корректируются логистические цепочки, подбираются более надёжные поставщики, чтобы снизить постоянные издержки.

- Интеллектуальная корпоративная ERP назначает сотрудникам задачи и их последовательность для повышения скорости и качества процессов.

Всё это становится реальностью, когда вы начинаете отслеживать и анализировать данные, которые ранее проходили мимо вас.

В настоящий момент стек технологий Machine Learning представлен сотнями библиотек, методов, фреймворков и платформ. Вместе они позволяют за считанные часы структурировать колоссальные объемы данных и делать выводы, способные перевернуть представление о текущих бизнес-процессах.

О пользователях сети известно почти всё — важно уметь делать выводы на основе этих данных

Онлайн-сервисы непрерывно накапливают статистику посещений и интересов пользователей, определяют их социально-демографические характеристики. Сегодня бизнес собирает информацию о том, какие сайты посещает его клиент, в какие магазины ходит, куда ездит отдыхать, какой моделью телефона пользуется, сколько у него друзей, какой у него уровень дохода, и где он живёт.

Персональная информация миллионов пользователей вместе и каждого по отдельности, проанализированная в статике и в динамике, даёт понимание профиля клиента и того, от каких персональных предложений он точно не откажется.

По сути, мы стоим на пороге персонализированной экономики, когда весь маркетинг выстроен вокруг точных рекомендательных систем, лучше самого человека понимающих, в чём он будет нуждаться в следующую минуту.

Всё больше компаний и руководителей разного уровня перенимают парадигму data-driven — принятие решений на основе данных.

Анализ данных помогает делать e-commerce более прибыльным, а клиентов более лояльными

Машинное обучение используется для создания рекомендательных систем онлайн-магазинов и других e-commerce проектов. Система способна предлагать посетителю те товары, услуги и информацию, которые больше всего ему интересны.

Доказано, что рекомендательные системы увеличивают прибыль интернет-магазинов на десятки процентов. Как правило, человек не желает тратить часы и дни на изучение интернет-ресурса. На помощь приходит машинное обучение, которое позволяет давать точные полезные рекомендации.

Веб-аналитики оптимизируют маркетинговые кампании, используя машинное обучение

Метрики конверсии напрямую говорят об эффективности кампаний и, соответственно, об успехе бизнеса. Раньше оптимизация десятков и сотен настроек производилась вручную, но уже через некоторое время алгоритмы машинного обучения появились и в интернет-маркетинге. Автоматическое управление ставками, аудиториями и настройками показа на основе данных существенно повышает CTR, увеличивает средний чек покупок, снижает расходы.

Банки и страховые применяют автоматический скоринг клиентов

Основываясь на общих признаках профилей клиентов, алгоритмы классификации присваивают им значения рейтинга, которые влияют на решение о предоставлении услуг. Такая практика помогает предсказывать риски невыплат по кредитам или наступления страховых случаев, кратно снижая нежелательные расходы и потери банков и страховщиков.

Интернет-поисковики формируют выдачу целиком на основе Machine Learning

Такие гиганты, как "Яндекс" и Google до относительно недавнего времени использовали формулы ранжирования выдачи, которые оптимизировались в полуавтоматическом режиме. Сейчас же флагманы онлайн-индустрии вовсе пренебрегают ручным вмешательством — алгоритмы сами обучаются на статистике поиска. Определяя степень соседства запросов, они объединяют их в смысловые кластеры и отображают релевантные результаты, даже если запрос сформулирован неточно или вообще не содержит ключевых слов.

Промышленные предприятия снижают издержки с помощью машинного обучения

В условиях четвёртой промышленной революции развивается IIoT — промышленный интернет вещей. Станки и агрегаты предприятий оснащаются регистрирующим оборудованием, и менеджеры получают доступ к целостной картине производства: данным по загрузке мощностей, производительности, отказам. Становится видна вся цепочка от первого до последнего звена.

Управленческие решения, основанные на данных, оптимизируют промышленные процессы, позволяя расходовать только необходимые ресурсы, увеличивать качество и объём выпуска, максимизировать прибыль.

Применение Machine Learning на любом этапе и уровне процессов

Внутренние процессы

Анализ данных помогает выявить избыточные департаменты и процессы, недостающие элементы, укомплектовать штат только необходимыми специалистами, работающими на рост показателей. Применение машинного обучения позволяет оптимально использовать капитал и средства компании, снижать риски, повышать устойчивость на рынке и эффективность.

Внешние процессы

Внешняя среда для организации — это множество факторов:

Клиенты:

Имея на руках полный спектр информации о целевой аудитории и существующих клиентах, компании беспрецедентно улучшают качество коммуникации. Прежде всего, речь идёт об индивидуальных рекомендациях — вы знаете, в чём нуждается клиент и предлагаете закрыть его потребность здесь и сейчас. Более того, для повышения лояльности вы предлагаете специальные условия: скидку на дополнительный товар или услугу, бесплатный сервис, киллер-фича — бонусы от партнёров, также определённые на основе личных предпочтений клиента.

Непрерывная поддержка с помощью технологий машинного обучения: роботы-помощники, распознающие естественный язык и ведущие диалог, умные поисковые системы для каталогов, персональные рассылки и звонки — всё это впечатляет и заставляет возвращаться к вашим услугам вновь и вновь.

Конкуренты:

Анализ деятельности конкурентов — одна из основных потребностей бизнеса, намеренного развиваться и побеждать. Глубинный анализ и выявление тенденций помогает опередить конкурентов, первым предложив лучшее решение для клиентов или создав его на основе анализа ошибок других.

Партнёры:

Машинное обучение позволит провести всесторонний анализ информации о потенциальных поставщиках и партнёрах. Открытые экономические показатели, история судебных разбирательств, отзывы в сети — эти данные могут быть подвергнуты тщательному анализу, чтобы построить рейтинг надёжности контрагентов.

Макроэкономика:

Подъём или спад в экономике, рост тарифов и пошлин, отток или приток клиентов могут быть точно спрогнозированы на основе непрерывного мониторинга ситуации и обработки данных. Анализируя перечень тенденций в масштабах экономики, реально заранее подготовиться к серьёзным изменениям, чтобы стать хозяином положения и выжать максимум из него.

Мы используем Hadoop для организации хранения больших данных и Apache Spark для их анализа. Мы применяем мощные адаптивные алгоритмы на основе деревьев решений, нейронных сетей, градиентного бустинга и не только. Например, в SimbirSoft, мы использовали рекуррентные нейронные сети и алгоритм на основе случайного леса при разработке программного обеспечения для медицинских учреждений. Получившаяся система прогнозирует процедуры пациента по истории его диагнозов и прошлых процедур.

Рекомендательные системы

Чтобы давать актуальные рекомендации, мы анализируем данные сразу в нескольких плоскостях:

- с точки зрения предпочтений пользователя — Коллаборативная фильтрация,

- по схожести между товарами — Content-based фильтрация.

В данном случае используется, в частности, библиотека mllib на основе алгоритма оптимизации alternating least squares (ALS) — она находит скрытые факторы, которые определяют профиль и предпочтения пользователя.

Мы используем TensorFlow от Google и Amazon DSSTNE — opensource библиотеку от онлайн-ритейлера, первопроходца рекомендательных систем. В результате, мы знаем о пользователе то, что не знают другие и даже он сам.

Кластеризация клиентов

Чтобы компании могли общаться с клиентом на его языке и предлагать ему релевантные решения, мы используем алгоритмы кластеризации и классификации. Даже в сырых данных, вплоть до cookie пользователей, мы можем обнаружить устойчивые закономерности и построить классификацию. Группы пользователей будут отличаться по точно выверенным характеристикам, что даст возможность найти к ним персональный подход и выработать индивидуальные предложения.

Коммуникации

Мы используем продвинутые библиотеки и алгоритмы распознавания текста: Word2Vec и GloVe. Они позволяют определить тесноту связи языковых конструкций, что позволяет создавать системы, понимающие естественный язык и даже способные выстраивать формулировки.

Анализируя тесноту связи, смысловые кластеры, мы понимаем, о чём говорит и пишет человек, даже если он прямо не называет то, что ему нужно — по аналогиям и контексту.

Благодаря анализу семантики, открываются следующие возможности: создание чат-ботов, распознающих и имитирующих естественный язык — это службы поддержки, доставки, консультации; определение тональности отзывов в интернете; определение настроений клиентов и электората; анализ постов и комментариев; генераторы текстов любой стилистики.

Измерение эффекта от внедрения машинного обучения

В эпоху открытой информации у любого, кто решит изучить рекомендации практиков, не останется сомнений, что Machine Learning — это мощный рабочий инструмент принятия решений и развития бизнеса.

Он может стать ещё эффективнее, если непрерывно контролировать работу алгоритмов и доводить их до совершенства, адаптируя к изменяющимся условиям. В этом поможет A/B-тестирование, непрерывный сбор статистики по всем метрикам и их анализ.

4 признака, которые покажут эффективность машинного обучения для бизнеса:

- Собирается и обрабатывается большое количество данных;

- Решения принимаются на основе анализа данных и детальных отчетов;

- Важна скорость экспертной рекомендации;

- Экономия на 10% даёт ощутимый эффект.

Если эти пункты выполняются для вашего бизнеса, значит машинное обучение — его неотъемлемая составляющая.

В SimbirSoft есть несколько проектов, основанных на анализе данных:

Система интеллектуального подбора квартир. Она подбирает квартиры с учетом мест работы и учебы членов семьи. Система анализирует время в пути, пробки и общественный транспорт. Дополнительно мы отобразили на карте инфраструктуру в пешей доступности: магазины, банкоматы, парковки, школы, сервисы. Продукт помогает риелторской компании удерживать клиентов и быстрее закрывать сделки. Мы автоматизировали систему сбора информации о домах — данные автоматически попадают в CRM, и риелтор тратит время на клиентов, а не на бумажную работу.

Система оценки стоимости недвижимости. Система предсказывает стоимость квартир и сроки их продажи. Алгоритм анализирует среднюю стоимость квартиры на рынке и показывает ее пользователю. Он может выбрать рекомендуемую стоимость или назначить свою — тогда система рассчитает новый прогнозируемый срок продажи. За время ее использования отток пользователей портала сократился. Погрешность предсказаний системы — 4%.

Система анализа деятельности конкурентов продуктовой сети. Система анализирует акции, скидки и новые товары у конкурентов сети. Супервайзеры отслеживают действия конкурентов в магазинах, фотографируют и заносят данные. Система агрегирует данные всех магазинов, где продаются товары сети, и формирует отчет с прогнозами успешности этих действий. Компания корректирует собственные маркетинговые кампании на основе данных отчетов.

Система сбора данных с сайтов объявлений. Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.

У технологии машинного обучения безграничные перспективы, и я уверен, что в ближайшем будущем роль ML в построении и функционировании бизнес-процессов будет только усиливаться.