ТК-362 приступила к рассмотрению проекта национального стандарта о разработке безопасного программного обеспечения, реализующего технологии ИИ

Завершена разработка первой редакции проекта национального стандарта ГОСТ Р «Защита информации. Разработка безопасного программного обеспечения, реализующего технологии искусственного интеллекта. Общие требования».

Документ, подготовленный ведущими экспертами в области технической защиты информации – ФСТЭК России, ИСП РАН и ПАО «Сбербанк» — призван систематизировать подходы к созданию защищённых решений на основе ИИ и восполнить существующий пробел в нормативном регулировании этой сферы.

Проект стандарта устанавливает требования к порядку выполнения работ, связанных с РБПО, реализующего технологии искусственного интеллекта, и устранением выявленных в нем недостатков, включая уязвимости.

Также проект является логическим дополнение к действующему ГОСТ Р 56939-2024, ориентированного на разработку безопасного ПО в целом, расширяя его положения для специфики моделей машинного обучения и обеспечивающего их функционирование ПО.

Что представляет собой новый проект ГОСТ Р по разработке безопасного ИИ?

В соответствии с новой концепцией, вводится три типа процессов разработки:

1. Типовые (идентичные ГОСТ Р 56939-2024)
2. Модифицированные (дополненные с учётом особенностей ИИ)
3. Специфические (новые)

К последним, в частности, относятся такие процессы, как «Управление наборами данных» и «Безопасное обучение моделей ИИ». Такой подход к формированию процессов подчёркивает отличие систем ИИ от традиционного ПО: поведение модели напрямую зависят от качества данных для обучения и корректности процедур обучения.

Какие новые классы угроз для систем искусственного интеллекта учитывает проект ГОСТ Р?

Особое внимание в документе уделяется новым классам угроз, характерным для систем ИИ:

1. Атаки отравления – внедрение вредоносных данных в обучение
2. Инверсии моделей – извлечение конфиденциальных обучающих данных из модели (в том числе методами обратного инжиниринга)
3. Состязательные воздействия – малозаметные возмущения (например, шум в данных) для обмана модели
4. Дрейфом данных – изменение статистических характеристик входных данных со временем

Какие требования безопасности предъявляются к разработчикам ИИ-решений?

Для противодействия этим угрозам разработчику предписывается формировать расширенные требования безопасности:

1. Контроль входных и выходных данных
2. Применение механизмов ограничения поведения модели
3. Организацию непрерывного мониторинга
4. Ведение паспорта модели с фиксацией ее архитектуры, ключевых показателей качества и безопасности

Существенной новацией является детализация требований к управлению цепочками поставок. В условиях широкого распространения заимствованных моделей и открытых фреймворков, проект стандарта обязывает разработчиков осуществлять:

1. Строгий контроль происхождения и подлинности данных
2. Проверку данных на наличие возможностей выполнения произвольного кода
3. Формирование перечня программных компонентов (по типу SBOM-файлов)

При этом закрепляется недопустимым привлечение к реализации процессов иностранных поставщиков, а инфраструктура для хранения артефактов сборки и обучения моделей должна размещаться исключительно на территории РФ.

Связь нового ГОСТ Р с действующими стандартами в области ИИ

Разработка стандарта ведётся в тесной связке с уже принятыми нормативными актами в области ИИ: термины ГОСТ Р 71476-2024 и процессы жизненного цикла, описанные в ГОСТ Р 71539-2024, выступают основой для формирования модифицированных и специфических требований.

Новый документ чётко разграничивает объекты регулирования: требования ориентируются только к ПО, непосредственно реализующему технологии ИИ, в то время как классификация систем ИИ, закреплённая в ГОСТ Р 59277-2020, остаются за рамками его области применения.

После официального утверждения и введения в действие документ станет важным инструментом для российских разработчиков и организаций, выполняющих оценку соответствия, и, что особенно важно, для регуляторов в сфере информационной безопасности.

Его применение призвано не только снизить риски компрометации интеллектуальных систем, но и повысить доверие к технологиям ИИ со стороны государства и бизнеса, обеспечив их надёжную и предсказуемую работу в российских инфраструктурах.