Иллюзия автоматизации: почему без человека ИИ превращается в дорогую игрушку

В сфере ИИ проявился "парадокс ценности". Согласно исследованию McKinsey, 80% организаций уже пробуют генеративный ИИ, но сопоставимая доля не видит существенного эффекта ни в выручке, ни в прибыли. Gartner дополняет картину: 50% ИИ-проектов терпят неудачу.

Причины этого - не только в зрелости технологии или качестве данных: они - в устаревающей парадигме. Давление на CTO, CIO, руководителей бизнес-департаментов огромно: при внедрении ИИ-проектов от них ждут прозрачных KPI, четких бюджетов и сроков внедрения и окупаемости. Но ИИ живет по другой логике: это вероятностная, обучающаяся система, качество и результаты работы которой меняются из-за множества факторов. Поэтому попытка управлять им по правилам традиционного подхода к внедрению ПО приводит к завышенным ожиданиям, затянутым срокам и разочарованию. Успех ИИ-проекта требует другого управленческого подхода: гибких процессов, новых ролей в командах, постоянных экспериментов и создания системы оценки качества, в которой человек остается центральным элементом

Роль человека в оценке качества ИИ-проекта

В ИИ-сообществе популярна фраза директора по продуктам Anthropic Майка Кригера о том, что написание систем оценки ИИ-проектов, возможно - главный навык для людей, работающих с искусственным интеллектом. Причина проста: если вы не можете измерить работу ИИ, вы не можете его улучшить. И именно поэтому человек занимает в ИИ-проекте не вспомогательное, а ключевое место. Он становится архитектурной частью системы качества, без которой ИИ превращается в плохо предсказуемый инструмент. В ИИ нет универсальных критериев оценки качества.

Возьмем пример. На этапе пилота ИИ-система клиентской поддержки отвечает на 6 из 10 вопросов клиента. Это успех или провал? Насколько точны эти ответы, понятны ли клиенту? Не может быть однозначного ответа. Каждая отрасль и каждая компания формируют собственные представления о том, какой ответ является корректным, насколько он должен быть точным, каким может быть отклонение и где проходит граница риска. Эти критерии невозможно вывести автоматически - их формируют эксперты, которые понимают продукт, клиентов, процессы и последствия ошибок. Иными словами, параметры качества работы ИИ-системы формируются человеком.

В то же время ИИ-система постоянно развивается. На качество ее работы влияют новые данные, изменения в поведении пользователей, дрифт моделей, инфраструктурные аспекты. Это приводит к тому, что улучшение ИИ-проекта происходит на основе непрерывного процесса обратной связи от кросс-функциональной команды: доменных экспертов, пользователей системы, бизнес-заказчиков. Они не просто оценивают результат, но и обучают систему новым сценариям, корректируют неуместные ответы, уточняют формулировки и предлагают варианты улучшений. Так формируется инфраструктура развития ИИ-проекта с участием человека (Human in the Loop), где сотрудники становятся менторами и тренерами ИИ. Этот подход создает фундамент, который делает ИИ управляемым, полезным и экономически оправданным.

Когда ИИ учится в постоянном диалоге с человеком, система становится зрелой. Но чтобы не упереться в пределы человеческих ресурсов, нужно найти сбалансированный подход к распределению ответственности между ИИ и людьми.

Баланс человека и алгоритма

В ИИпроектах действует "закон убывающей отдачи": каждый процент роста точности (качества) стоит дороже предыдущего. Когда система работает на уровне 60-70%, попытка довести этот показатель до 90-95% может потребовать замены архитектуры или других кардинальных изменений.

Гонка за 100%-й автоматизацией может стать крайне нерациональной и съесть абсолютно все ресурсы. Можно месяцами инвестировать в обучение или очистку данных, а можно выбрать гибридный дизайн, который позволяет держать под контролем стоимость владения системой, управлять рисками, калибровать пороги уверенности, а также превращать корректировки человека в обучающий материал, постепенно повышающий качество работы ИИ.

Гибридный подход сочетает в себе традиционные алгоритмы (правила) классического ML для "массовых" запросов (60% обращений), генеративный ИИ - для сложных и вариативных (поднимают покрытие до 80-85%), и подключение человека - для высокорисковых, нетипичных запросов (доводим до 100%). По сути, гибридная архитектура — это способ сделать качество и стоимость ИИ-проекта управляемыми и предсказуемыми.

С другой стороны, такие изменения задают не только баланс между автоматизацией и участием человека, но и меняют способ работы над ИИ-продуктом: бизнес и разработка переходят от линейного взаимодействия к итеративному формату. Это - шаг к иной логике построения процессов.

От ТЗ к управлению качеством

ИИ трансформирует взаимоотношения бизнес-заказчика и разработки гораздо глубже, чем кажется на первый взгляд. Традиционное взаимодействие бизнеса и ИТ было прямолинейным: бизнес формулировал задачу в ТЗ, ИТ реализовывало ее и передавало результат на приемку. В ИИ-проектах эта схема перестает работать.

ИИ - система, качество которой формируется в процессе, а не фиксируется в момент сдачи. Поэтому результат достигается через последовательные итерации, настройку и постоянную обратную связь от тех, кто действительно понимает предметную область.

Когда же команды продолжают работать по старой схеме - ИТ пытается закрыть задачу самостоятельно, не имея глубокой доменной экспертизы - сроки растягиваются, а качество не выходит на нужный уровень.

В ИИ-проектах именно бизнес-пользователи становятся ключевым источником роста точности: они видят реальные запросы, корректируют ответы и задают направление улучшений.

Успешные проекты опираются не на ТЗ, а на постоянное управление качеством - на совместные итерации, обратную связь и развитие системы шаг за шагом.

Кейс "ТЕХНОНИКОЛЬ"

Такой подход позволил производителю строительных материалов "ТЕХНОНИКОЛЬ" внедрить ИИ-ассистента для сотрудников контакт-центра, который значительно повысил скорость и качество ответов на обращения клиентов. Раньше оператору требовалось 10-30 минут, чтобы найти нужную информацию среди более чем 10 тыс. материалов, свериться с технической документацией или подключать эксперта второй линии поддержки. Это увеличивало время консультаций и снижало удовлетворенность клиентов.

Уже на этапе пилотного проекта специалисты контакт-центра постоянно давали обратную связь по работе с ИИ-ассистентом, развивали систему критериев для его ответов. Сейчас ИИ-ассистент использует данные из продуктового каталога (PIM) и корпоративных сайтов, выдавая операторам точные подсказки в реальном времени.

Благодаря сформированной системе и вовлеченности команды "ТЕХНОНИКОЛЬ" точность ответов ИИ-ассистента выросла до 92%, а производительность операторов увеличилась от четырех до 15 раз. Клиентская коммуникация также вышла на новый уровень: время ответа на обращение клиента сократилось в три раза, 80% чатов получили положительные отзывы, положительные оценки от клиентов выросли на 44%. Постепенно сотрудники "ТЕХНОНИКОЛЬ" стали сами заниматься обучением ИИ-ассистента и интегрировать его в другие направления коммуникации с клиентами.

Компания "ТЕХНОНИКОЛЬ" выбрала решение AutoFAQ Xplain, которое упрощает обучение и адаптацию новых сотрудников. Система не автоматизирует процессы полностью, а предоставляет оператору подсказки на основе нейросетевых моделей. Кроме того, Xplain используется операторами на телефонной линии в формате вопрос-ответ: вместо самостоятельного поиска данных оператор формулирует запрос в чате и получает готовую справку со ссылками на источники. Это заметно сокращает время поиска информации – с прежних 10-15 минут до одной минуты.

Заключение

Результат ИИ-проекта – это эволюционный процесс. Его успех определяется способностью компании и его департаментов выстроить цикл оценки качества, включающий измерение, управление, корректировку и эксперименты с постоянным вовлечением человека. Даже по мере автоматизации этапа проверок на человеке останется ключевое - оценка всей системы и рисков.

ИИ действительно снимает часть рутинных задач, но одновременно требует от организаций нового типа мышления - более глубокого, системного и гибкого. Это и есть главный вызов ИИ-проектов: они работают только там, где технология, люди и процессы становятся единой системой.