В Китае чат-ботов заблокировали за отсутствие патриотизма

Из-за непатриотичных высказываний китайская корпорация Tencent исключила боты BabyQ и XiaoBing из своего мессенджера QQ, у которого в Китае более 800 млн пользователей.

Тестовая версия виртуального собеседника BabyQ разработки пекинской Turing Robot отрицательно отвечала на вопрос "Любите ли вы коммунистическую партию?". Другой бот – XiaoBing от Microsoft сообщал, что его мечта – поехать в Америку. В среду XiaoBing еще был доступен пользователям, но на вопросы о патриотизме уже отвечал уклончиво.

 "Чат-ботов размещают независимые разработчики. В данный момент мы отлаживаем свои сервисы, и они возобновят работу, когда отладка закончится", – сообщает Tencent.

Это не первый случай странного поведения систем искусственного интеллекта. Компания Facebook была вынуждена отключить двух ботов, когда они стали общаться друг с другом на собственном языке. Сеть Twitter также столкнулась со своенравным ботом – программа Tay производства Microsoft начала вместо ожидаемых добродушных шуток публиковать расистские и сексистские высказывания. Tay был удален из Twitter в марте прошлого года, но спустя несколько дней его восстановили. Разработчики подчеркивают: "Чем больше вы говорите, тем умнее становится Tay". Пользователям предлагалось играть с ботом и просить его пошутить, но вместо этого многие задавали программе каверзные вопросы. Когда Tay начал делать неподобающие высказывания, Microsoft обвинил в этом пользователей, "устроивших скоординированную атаку".

Ненормальное поведение ботов свидетельствует о несовершенстве технологий глубокого обучения, используемых для программирования машин. "Боты вроде Tay быстро собирают примеры всевозможных диалогов в Twitter и начинают высказываться неподобающим образом", – говорит ведущий аналитик из Forrester Сяофэн Ван. "Похожая ситуация и с BabyQ. Машинное обучение предполагает, что машины берут все, что можно найти в интернете. Если вы не зададите достаточно четкие ограничительные установки, то не сможете управлять процессом обучения", – объясняет он.

Компания Turing Robot называет программу XiaoBing "энергичным, открытым и иногда немного вредным" собеседником. BabyQ способен выдавать более развернутую информацию, например прогнозы погоды. "Открытый софт означает множество партнеров, сообщество разработчиков, – поясняет Turing. – Они легко могут встроить открытый бот в собственные программы и системы. Именно поэтому продукт Turing Robot привлек порядка 600 000 разработчиков, это даже больше, чем у Facebook".

Чат-боты лучше всего работают в составе систем с четко определенной функциональностью, например в сетях поддержки клиентов магазинов, банков и страховых компаний, уверена глава подразделения роботизированных платформ гонконгской исследовательской организации HKSTPC Кристал Фок. "В остальных случаях возможны проблемы", – уверена она.