Робот Макс начнет отвечать на сложные вопросы по телефону в 2026 г.

О внедрении LMM Streaming корреспонденту ComNews рассказал директор по продукту робота Макса Никита Устриков ("Госуслуги", "РТ Лабс") на конференции Conversations 2025. "Голосовая генерация с LLM и стримингом - это, скорее всего, начало 2026 г., вряд ли раньше. Пока существует очень мало подобных внедрений, нужно отладить качество работы, - объяснил Никита Устриков. - Уже идет пилот в телефонной линии, около 30% обрабатывает робот, но без LLM".

На Conversations 2025 Никита Устриков рассказал о внедрении LLM на "Госуслугах". "В планах - Streaming для LLM и Streaming для LLM в голосе. Мы хотим внедрить в телефонную линию робота с LLM, чтобы улучшить качество ответов. Стриминг нужен, потому что иначе человек на линии будет очень долго ждать", - рассказал Никита Устриков во время выступления.

LLM Streaming - процесс, при котором большие языковые модели генерируют текст в реальном времени по частям. Это позволяет пользователям получать ответы или текстовые результаты постепенно. Особенно полезно в ситуациях, когда требуется интерактивное взаимодействие.

Также в ближайшее время команда, которая развивает LLM на "Госуслугах", планирует добавить на платформу модели для модерации контента. Это поможет ведомствам делать язык госслужащих более "человечным", чтобы пользователи получали более понятные ответы.

Также на этапе пилотного внедрения находится режим рассуждений. По словам Никиты Устрикова, он увеличивает точность ответов.

Кроме того, в планах команды - внедрение на "Госуслугах" ИИ-агентов. "Моя мечта - сделать так, чтобы пользователь заходил на портал и говорил: "Я хочу к врачу. Могу по утрам до 10, по будням, но лучше - во вторник или среду. Запиши меня к терапевту" - и сразу получал запись. Но пока приходится разбираться, какой нужен врач, в какую поликлинику, когда и как записываться - это очень долго и сложно. Мы идем к тому, чтобы ИИ-агент оформлял услуги за человека. Это позволит оформлять их массово", - рассказал Никита Устриков.

"ИИ-агенты - автономные системы, которые не просто отвечают на запросы, а сами инициируют действия для достижения целей - например, бронируют билеты, ищут документы, оформляют услуги. Это не кратковременный хайп, а долгосрочный тренд: с ростом возможностей моделей агенты будут глубже интегрироваться в повседневные процессы - от корпоративных задач до публичных сервисов. Например, на "Госуслугах" агент мог бы сам заполнить заявку, собрать нужные документы в системе и уведомить пользователя о статусе", - объяснила руководитель команды машинного обучения Just AI Эльвира Климанова.

Еще одна цель - настройка выбора из множества ответов "на лету". Уже есть эксперимент, когда выбирается "на лету" из нескольких моделей та, которая отвечает лучше.

Также Никита Устриков рассказал о результатах внедрения LLM на "Госуслугах". До внедрения Макс давал стандартные прямолинейные ответы, которые часто были излишне перегружены информацией либо слишком общими. До внедрения LLM 22% первичных вопросов пользователей обрабатывались некачественно. "Учитывая, что в год происходит миллиард консультаций, 22% ошибок - это 200 млн запросов, на которые даны неправильные ответы", - рассказал Никита Устриков. После внедрения LLM доля некорректных ответов упала до 10%.

Также выросло количество сложных вопросов, с которыми пользователи обращаются к Максу.

Но и с LLM были сложности, например, галлюцинации. "Галлюцинации у ИИ возникают из-за того, что модель может генерировать информацию, которая звучит правдоподобно, но не имеет фактической основы. Это происходит потому, что модели обучаются на больших объемах текстов, где они учатся выявлять паттерны и последовательности слов, но не всегда понимают контекст или истинность информации", - рассказала Эльвира Климанова.

Внедрение LLM на "Госуслугах" началось в 2024 г. Роботом Максом пользуются 2,5 млн авторизованных пользователей в сутки. При этом LLM не используется при ответах на простые вопросы (по типу "как оформить загранпаспорт" и др.).

https://www.comnews.ru/content/235913/2024-10-25/2024-w43/1007/mincifry-dokrutit-maksa-k-novomu-godu