Настройка метрик бота без ошибок

Галина Прохорова, ведущий методолог автоматизации коммуникаций МТС AI, разбирает, насколько общепринятые метрики оценки качества бота и клиентского опыта отражают реальное положение дел в бизнесе.

В процессе создания и совершенствования ботов различного типа разработчикам часто приходится выбирать методы оценки качества, и этот выбор бывает сложным и неочевидным. Для определения точки отсчета необходимо продумать базовые вопросы системы аналитики. Прежде всего технические специалисты должны иметь инструмент отслеживания малейших изменений в сервисе, для того чтобы понимать, что нужно скорректировать для бесперебойного функционирования бота. Во-вторых, команда разработчиков должна четко представлять степень влияния их работы на бизнес-цели заказчика для определения приоритетов работы. Недостаточно общего понимания, что бот должен автоматизировать коммуникацию с клиентом, - только детальная классификация задач поможет правильно расставлять приоритеты.

Нередко обнаруживается, что у заказчика есть своя система оценки качества. Проанализировав различные кейсы и изучив последние научные статьи, посвященные аналитике чат-ботов в России и за рубежом, получилось выделить наиболее распространенные метрики. Согласно нашему исследованию, 100% компаний считают объективным показателем эффективности работы количество закрытых диалогов без вмешательства оператора, иными словами - полную автоматизацию коммуникации с клиентом. Альтернативными метриками часть компаний считают долю повторных пользовательских обращений и долю обращений, решенных в чате с первого раза (FVR), или оценку клиентского опыта в том или ином виде (tNPS). Такие методы оценки также популярны, их выбирают 65% и 80% заказчиков соответственно. Менее распространенными метриками являются аналитика по тематикам (55% компаний) и сантимент-анализ (30%), то есть выявление эмоциональной оценки.

Конечно, любому бизнесу хотелось бы получить набор легко интерпретируемых показателей, но действительно ли через такие бизнес-метрики разработчики могут говорить с руководством компании на одном языке? К сожалению, при подведении итогов, сделанных на основе этой аналитики, упускается суть: не учитываются особенности канала общения, не проводится коррекция на конкретный бизнес-кейс или же не формулируются понятные качественные выводы на основе количественных результатов.

Кроме того, на практике встречаются серьезные нарушения в работе с некоторыми данными. Зачастую специалисты считают уникальных пользователей для каждого канала отдельно, что не дает общей информации по сквозным сессиям. Также при анализе забывают вычитать пустые сессии до подсчета итоговых показателей по формулам, что делает статистику нерепрезентативной. Не реже встречаются ошибки в метриках, включающих в себя опрос клиента (tNPS, CSat, CSI и т.д.), в них не учитывается доля отказов/игнорирования опроса и коэффициент достижения цели (GCR). К примеру, пользователи чаще всего оценивают не свое отношение к качеству обслуживания чат-ботом или оператором, а саму ситуацию в целом - неправомерное списание денег с их счета или задержку доставки. А метрика FVR во многих случаях считается только для тех клиентов, кто выбрал перевод на оператора, повторное обращение к боту без перевода на оператора в статистику по повторным обращениям не попадает. И это только самые частые нарушения в оценке качества работы умных ассистентов.

Для того чтобы не допускать вышеописанных ошибок, необходимо в деталях представить себе процесс работы: не метрики должны определять продукт, а продукт - метрики. Вы должны выстроить четкий путь со стройной системой показателей, пройдя этапы разработки методологии оценки, выбрав лучшие инструменты для подсчета и проверив свои гипотезы на практике.

Для выстраивания грамотной системы метрик вам не обойтись без профессионального аналитика или специализированного инструмента, который будет автоматически подсвечивать проблемные места. Что выгоднее для вас - зависит от цели и бюджета. Весь сбор и анализ информации следует перевести в единую платформу, поскольку разрозненные данные тяжело структурировать. И не стоит чрезмерно усложнять сами метрики, каждый член команды должен понимать, откуда берется тот или иной показатель и как работают формулы.

Более того, для усовершенствования рабочего процесса можно использовать машинное обучение (ML) - там, где оно действительно необходимо. Технология сэкономит ресурсы на ручном труде, будь то разметка, классификация нераспознанных интентов, анализ мест разрыва сессий или построение карты сценариев. На основе полученных данных можно обучить бота выявлять проблемные места и обновлять систему. Высший пилотаж применения такой технологии - способность оценивать эмоциональное состояние пользователя через его лексику и вовремя подключать оператора, дабы избежать нервного срыва клиента. Но не стоит думать, что ML решит все ваши проблемы, - использовать инструменты нужно аккуратно, проверяя правильность результатов на контрольных выборках, иначе эффективность работы будет стремиться к нулю.

Метрики - это не показатели на бумаге, а язык, на котором с вами говорят бизнес и клиент. Поняв его, вы получите целостную картину. Безусловно, все результаты не столь важны в конкретный момент, сколько в динамике. Итерация за итерацией вы должны выбирать самые репрезентативные для вас метрики и смотреть на их развитие. Только так появится понимание, куда вы идете и какими должны быть последующие шаги.