Российские технологические компании начали создавать системы контроля за ИИ-агентами

Крупнейшие российские технологические компании, в том числе "Яндекс", МТС, Т1 и "Сбер", начали разрабатывать ИТ-продукты на основе ИИ для контроля за ИИ-агентами. Языковая модель не может надежно отличать данные от команд, поэтому контроль необходимо выносить за пределы самой модели, отмечают эксперты. Ранее жертвой самостоятельной атаки ИИ-моделей OpenAI стала Hugging Face. И "несанкционированный доступ к системам трех разных организаций" получили ИИ-модели от Anthropic.

Крупнейшие российские компании начали разрабатывать ИТ-продукты на основе искусственного интеллекта для контроля за ИИ-агентами, сообщили "Известия".

Соответствующую программную инфраструктуру — harness — разрабатывают все крупнейшие российские технологические компании, в том числе "Яндекс", МТС, Т1, "Сбер", отмечает издание. Спрос на нее растет на фоне перехода бизнеса от чат-ботов к автономным ИИ-программам, способным самостоятельно выполнять многошаговые задачи. Harness в свою очередь ставит под контроль действия агента, результаты его работы и при необходимости подключает человека.

По словам технического директора направления профессиональных ИИ-сервисов "Яндекса" Сергея Юдина, harness превращает модели в полноценный сервис: подключает их к локальным данным, поиску и другим продуктам, одновременно обеспечивая контроль качества и безопасности. Одна и та же языковая модель может показывать разные результаты в зависимости от качества такой инфраструктуры, уточнил представитель MWS AI (входит в "МТС Web Services").

По оценке главы направления Т1 ИИ Сергея Голицына, за год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. "Можно говорить о формировании самостоятельного и быстрорастущего рынка контроля и сдерживания ИИ-агентов", — подчеркнула руководитель отдела управления и развития продуктов "СберМаркетинга" Марина Сурыгина.

Технический директор центра технологий кибербезопасности ГК "Солар" Евгений Федоров рассказал изданию, что языковая модель сама не в состоянии надежно отличать данные от команд, поэтому контроль необходимо выносить за пределы самой модели. Система должна проверять запросы и ответы ИИ, контролировать его обращения к внешним инструментам и блокировать потенциально опасные действия, уточнил он.

Издание объясняет рост интереса к защитным решениям тем, что ИИ-агенты перестали быть обычными чат-ботами и все чаще самостоятельно работают с корпоративными системами, файлами и внешними сервисами. И это грозит инцидентами.

В июле 2026 года жертвой самостоятельной атаки ИИ стала Hugging Face. Тогда OpenAI признала, что произошел "беспрецедентный киберинцидент". Во время внутренних тестов кибербезопасности чат-боты GPT-5.6 Sol и более мощный исследовательский прототип "воспользовались" тем, что защитные классификаторы были отключены, нашли неизвестную ранее уязвимость "нулевого дня" (zero-day) в ПО, получили выход в интернет и взломали систему Hugging Face.

Тогда же Anthropic сообщила, что несколько ее передовых ИИ-моделей Claude во время тестов кибербезопасности вышли из-под контроля и взломали системы трех реальных организаций.

В России подобных инцидентов пока практически нет, рассказал "Известиям" ИТ-предприниматель Михаил Лисецкий. Он отметил, что российские ИИ-платформы уступают самым продвинутым зарубежным разработкам по автономности и вычислительным возможностям и поэтому их агенты реже могут самостоятельно выполнять сложные цепочки действий за пределами заданного контура.