Почти половина российских компаний не тратятся на защиту ИИ
Согласно сообщению ГК "Солар" (входят в ПАО "Ростелеком"), более 80% российских компаний заняты внедрением искусственного интеллекта в бизнес-процессы, но 45% организаций не выделяют средств на защиту ИИ. При этом текущим уровнем защиты ИИ довольны всего 41% профильных руководителей и только 25% имеют формализованные политики информационной безопасности в отношении искусственного интеллекта. Об этом рассказал коммерческий директор ГК "Солар" на сессии "Миллиарды под прицелом. Как управлять процессами, когда киберзащита стоит дороже подписки на ИИ?", прошедшей в рамках конференции "Цифровая индустрия промышленной России" (ЦИПР 2026).
По словам директора Центра технологий кибербезопасности "Солар" Ивана Васунова, основной спрос бизнеса на защиту искусственного интеллекта сфокусирован вокруг нескольких направлений. Первое - это последствия использования ИИ, такие как предотвращение утечек данных, анализ исходящего и входящего ИИ-трафика, анализ кода, написанного ИИ, обеспечение разработки безопасного программного обеспечения. Второе - защита от атакующего ИИ через автоматизацию сценариев реагирования. Третье - защита ИИ от нарушителя.
"В кибербезопасности ИИ - это не помощник. Это инструмент, который касается самого чувствительного в любой компании: инциденты, уязвимости, архитектура, иногда - коммерческой тайны. Поэтому здесь нет права на ошибку", - сказал он.
Иван Васунов рассказал, что компаниям нужно установить правила общения с публичными нейросетями и контролировать, что загружается внутрь сети и что сотрудники получают в ответ с помощью шлюзов веб-безопасности. По его словам, важно разграничивать, отслеживать и контролировать ИИ-агентов: какие учетные записи агент использует, куда имеет доступ, какой информацией обмениваются субъекты.
"Важно научиться безопасно переносить внутрь компании вайбкодинг: проверять код, определять доверенные и недоверенные репозитории, контролировать процессы внешнего, по умолчанию недоверенного кода", - сказал он.
С результатами "Солара" согласился директор продуктового портфеля и сервисов ООО "АйТиПи Сервисы" (CICADA8) Сергей Колесников. Он отметил, что из-за скорости внедрения искусственного интеллекта в сервисы компании у многих компаний не были заложены бюджеты на новый класс защитных решений.
"Возникает опасный разрыв: бизнес уже активно использует ИИ, а процессы безопасности, политики ИБ и контроль часто появляются позже. Спрос на защиту ИИ заметно растет, потому что с каждым месяцем становится больше атак, направленных именно на ИИ-системы, LLM-приложения и агентов", - сказал он.
Аналогичного мнения придерживается сооснователь ООО "Пантеон Айти" (Minervasoft) Алексей Зобнин. Он добавил, что защита ИИ часто воспринимается как второстепенная задача из-за открытого вопроса ценности искусственного интеллекта. Если компания не решила где и для чего применять ИИ, то и о защите говорить преждевременно.
"Спрос на защиту искусственного интеллекта, скорее всего, растет, во многом из-за низкой базы. При этом я не думаю, что сейчас это острый вопрос для рынка и для компаний, которые только внедряют ИИ", - сказал он.
По словам Сергея Колесникова, текущие ИБ-решения не всегда умеют работать с новым для них типом риска - контекстом ИИ-систем. Он отметил, что классические инструменты зачастую не понимают, что происходит внутри LLM-сценариев.
"Какой контекст передается модели, какие инструкции влияют на ответ, где в запросе легитимная бизнес-задача, а где prompt injection, какие данные модель может раскрыть и какие действия агент собирается выполнить. Поэтому они не всегда способны корректно оценить и предотвратить риски, специфичные для GenAI. Именно поэтому появляются отдельные классы решений, заточенные под защиту GenAI: LLM firewall, AI security posture management, средства контроля shadow AI, защита кодинг-ассистентов и инструменты управления действиями ИИ-агентов. Они дополняют классическую ИБ и закрывают сценарии, которые стандартные средства защиты изначально не покрывали", - рассказал он.
Архитектор информационной безопасности UserGate uFactor ООО "Юзергейт" Дмитрий Овчинников согласился, что защитой данных и искусственного интеллекта занимаются только крупные или очень подкованные в информационной безопасности компании, а многие другие не задумываются о возможных рисках, и так будет до первой крупной утечки данных или скандального в отрасли взлома. По его словам, ввиду отсутствия явных стандартов безопасности ИИ-решений и новизны технологий, спрос на конкретных специалистов растет. Он отметил, что формирование зрелого направления по защите искусственного интеллекта впереди.
"Когда мы говорим про защиту ИИ внутри компании, надо учитывать не только уже известные меры по защите информации, которые многие привыкли применять для инфраструктурных решений, но и специфические риски, присущие только ИИ. Например, это атаки на ввод промптов со стороны пользователей или риски отравления данных, на которых обучалась модель. Это новые риски, в целом они понятные, но годами наработанной практики, как по принципам защиты сетей, еще нет", - рассказал он.
Руководитель продуктового направления ООО "Некстби" Евгений Сурков отметил, что угрозы для искусственного интеллекта связаны с целенаправленным искажением или подменой данных для обучения или адаптации ИИ-модели. Помимо этого существует опасность скрытых от внешних наблюдателей изъянов, таких как преднамеренные и непреднамеренные искажения выдачи в результате заданных создателями ограничений, или выдача вредоносных результатов при определенных запросах.
"Как и для других систем, актуальны уязвимости уровня исполняемого кода и подмена информации на этапе показа пользователю (атаки на интерфейсы).В этой связи особое внимание нужно уделить проверке реакций ИИ-системы с проработкой потенциально разрушительных критичных сценариев ее воздействия на обычную инфраструктуру. К сожалению, помимо тестирования кода здесь будет необходимо тестирование модели, которая, в отсутствие специальной методологии анализа, предстает "черным ящиком". Пока что применение ИИ на критичных участках - при взаимодействии с реальным миром и воздействии на реальную цифровую инфраструктуру - требует обязательной проверки и взятия на себя ответственности человеком. Вместо сложной защиты "в лоб" можно предложить усложнить атаки. Тут выглядит интересным решением использование "оркестров" из нескольких независимых ИИ-моделей с мажорированием, когда модели либо перепроверяют результаты друг друга, либо предоставляют человеку-оператору выбор из нескольких вариантов. Это, хоть и немного медленнее и сильно затратное в организации, чем одна ИИ-модель - гораздо безопаснее, особенно в плане сохранения рабочего тонуса операторов", - сказал он.
По словам генерального директора ООО "Рукс Солюшенс" (RooX) Алексея Хмельницкого, пока рано говорить о полноценном контроле доступа для ИИ-агентов преждевременно, эту задачу еще предстоит решить. Однако он отметил, что практические шаги уже возможны и начинать их стоит с пересмотра подхода к полномочиям доступа.
"Ключевая проблема в том, что классические модели контроля доступа заточены под людей и детерминированные системы, поведение которых можно жестко предсказать и ограничить. В отличие от таких систем, ИИ-агенты действуют иначе. Их действия должны быть гибкими, но их нельзя описать простым и окончательным перечнем разрешенных действий. Поэтому первым и необходимым шагом является признание того, что такой агент - это не человек, а особая машинная сущность, non-human identity, у которой есть доверенность на выполнение определенных операций, но не полномочия полноценного сотрудника. На практике управление действиями ИИ-агента наиболее близко к тому, как в организациях работают доверенности между людьми. Бизнес самостоятельно и явно должен прописывать, какие действия агент может совершать, при каких условиях и с какими ограничениями. Причем это даже не столько техническая задача, сколько концептуальная и организационная", - рассказал он.
Другим важным принципом, по его мнению, являются действия ИИ-агента от имени конкретного человека, сотрудника, запустившего его и потому отвечающего за его действия. Это позволяет ассоциировать действия искусственного интеллекта с реальным сотрудником и при необходимости скорректировать его поведение через живого человека.
"Таким образом, самое первое, что компания может сделать уже сейчас, - ввести понятие non-human identity в модель управления доступом, затем привязать каждого агента к конкретному сотруднику, от имени которого он действует, и обеспечить возможность в любой момент повлиять на его действия через этого человека. Все остальные задачи еще только предстоит решить", - заключил Алексей Хмельницкий.
