Независимая оценка качества данных в ИС, в соответствии с требованиями 716-П

Требования к обеспечению качества данных в информационных системах

К обеспечению качества данных в информационных системах (далее — ИС) в рамках функционирования бизнес- и технологических процессов в соответствие с п. 8.7.4 определены следующие требования к данным:

Точность и достоверность данных

Данное требование подразумевает отсутствие синтаксических и семантических ошибок в данных, а также их степень соответствия реальным и статистически наиболее вероятным значениям свойств, характеристик и параметров, зафиксированных в данных.

Для определения полноты и достаточности базы данных необходимо использовать отношение количества незаполненных или пустых полей к количеству заполненных полей, переведя это в процентное соотношение.

Полнота (достаточность, глубина и широта)

Полнота данных в части достаточности данных, требуемых в рамках обеспечения функционирования процессов. Значением показателя точности данных в рамках потока данных является отношение объема ошибочных данных к объему всех переданных данных за выбранный период. Отношение затем переводится в проценты. При вычислении совокупного значения выбирается минимальное значение из набора, полученного для всех потоков данных.

Актуальность данных

Свойство данных в любой момент времени корректно и адекватно отражать состояние объектов предметной области (передаваемые данные адекватно отражают состояние систем и объектов).

Для оценки актуальности данных необходимо выбрать совокупность данных за период не менее одного дня и не более одной недели.

После этого производится оценка данных на предмет их актуальности – проверяется, адекватны ли данные периоду времени, в который они были переданы.

Согласованность данных

Согласованность и взаимная непротиворечивость данных, хранящихся в ИС Банка, других источниках и носителях информации, унификация данных при их перемещении в ИС и процессах, целостности соответствующих идентификационных ссылок и связей в структурах базы данных.

Для этого надо:

• Составить и актуализировать потоки передачи данных.
• Каждый поток передачи данных необходимо внести в таблицу Оценки согласованности потоков передачи данных и проверить соответствие указанным условиям.
• Если потоки данных согласованы, то ставится оценка «1», а если нет – «0».
• И исходя из расчетов ставится средняя оценка по всеми ИС.

Доступность данных

Возможность работы с данными без перебоев в их получении.

Характеризуется информацией о времени бесперебойного функционирования и времени простоя ИС.

Для определения показателя доступности данных необходимо использовать отношение времени безотказной работы к времени необходимого функционирования работы ИС, переведенное в процентное соотношение.

Данный показатель сопоставим с SLA

Контролируемость данных

Контролируемость данных как возможность осуществления контроля качества и происхождения данных, в том числе посредством отражения в ИС источников данных, истории создания, изменения, преобразования, удаления, хранения и передачи данных.

Логируются (журналируются) операции, касающиеся формирования, обработки и передачи данных.

Для оценки контролируемости данных необходимо:

• Проанализировать совокупность зарегистрированных в рамках информационных систем событий, относящихся к созданию, изменению, преобразованию, удалению, хранению и передаче данных, за период не менее одного дня и не более одной недели.
• Производится подсчёт произошедших событий указанных типов применительно к потоку данных и подсчет зарегистрированных событий указанных типов.
• После этого вычисляется отношение зарегистрированных событий к произошедшим и переводится в проценты.

Восстанавливаемость данных

Возможность сохранять установленный уровень функциональности и качества данных после их утраты, повреждения или изменения в результате сбоев или других нарушений функционирования ИС.

Критичные для работы бизнес-процессов данные резервируются.

Для оценки восстанавливаемости данных необходимо:

• Произвести анализ настроек информационной системы, функционирующей с целью восстановления данных, а также доступных источников данных для восстановления.
• Далее определяется какие данные были переданы за произвольно выбранный период не менее одного дня и не более одной недели.
• После этого определяется, какая часть указанных данных продолжает храниться в информационной системе-отправителе либо перемещается в резервное хранилище.
• Затем вычисляется отношение объема данных, доступных для восстановления, к объему переданных данных.

Оценка качества данных ИС

Данные проверки и оценки качества производится для каждого потока данных.

Причем кредитные организации могут определить для своих ИС дополнительные требования в зависимости от их функционирования и осуществляемым процессам.

Методика и порядок обеспечения качества данных в ИС

Основным документом по данному направлению является Методика и порядок обеспечения качества данных в информационных системах, который предполагает отображение следующих элементов:

1. Показатели (индикаторы) и критерии оценки качества данных для различных ИС
   В отношении критериев качества данных допустимо установить контрольные и сигнальные значения, как в отношении контрольных показателей уровня операционного риска.
2. Методы и алгоритмы расчета правила измерения каждого из показателя качества данных
3. Перечень возможных источников и причин образования в ИС данных, которые не соответствуют требованиям к качеству данных в информационных системах
4. Процедуры реагирования на случаи нарушения установленных кредитной организацией предельно допустимых значений показателей качества и критериев оценки качества данных

Таким образом, в случае превышения допустимого уровня качества данных, организация выбирает и осуществляет соответствующие реагирования, которые основываются на совершенствовании процесса и эффективности их применения:

1. Процедуры, правила и периодичность контроля качества данных и формирования отчетов о качестве данных
2. Согласованный план о проведении мероприятий контроля качества данных на периодичной и постоянной основе
   Рекомендуется установить постоянный контроль с помощью технических средств, а также периодичный с привлечение сотрудников организации или сторонних организаций, обладающие соответствующими компетенциями, для проведения выборочного и/или сплошного контроля.
3. Процедуры исправления выявленных ошибок в данных, а также отразить осуществление документирования внесенных изменений в ошибочные данные
   Рекомендуется итогом исправления выявленных ошибок формировать отчет в целях определения типовых ошибок, чтобы в дальнейшем проводить внутреннего обучения и совершенствования процесса заполнения данных в ИС.
4. Сформированный порядок взаимодействия подразделений и должностных лиц по вопросам обеспечения качества данных, устанавливающий их полномочия, ответственность, подотчетность и обеспеченность ресурсами, а также участие органов управления
5. Определение в кредитной организации должностное лицо или лиц, несущие ответственность за обеспечение качества данных в информационных системах

Периодичность проведения независимой оценки качества данных в ИС

Независимая оценка качества данных в ИС должна проводиться не реже чем 1 раз в год.

При разработке внутренних документов по обеспечению качества данных следует руководствоваться стандартам ISO/TS 8000 «Качество данных» (ГОСТ Р 56214- 2014/ISO/TS 8000-1:2011).

Этапы работ по обеспечению качества данных в информационных системах

Работы по обеспечению качества данных можно разделить на 4 этапа.

1. Идентификация информационных систем и потоков передачи данных, подлежащих оценке и контролю

На основании осуществляемых бизнес-процессов и задействованных ИС определяются потоки данных, которые содержат информацию о тех данных, которые циркулируют и передаются.

На данном этапе кроме потоков данных стоит провести ревизию формата данных и субъектов доступов к ИС, ответственных за заполнение, передачу и хранению данных каждой ИС.

Результатом данного этапа является матрица потока данных и их элементов.

2. Процедуры оперативного и периодического контроля качества данных

Организации кроме ежегодной независимой оценки качества данных также определяют сроки контроля и в зависимости от имеющихся ресурсов и количества потоков данных определяется периодичность контрольных процедур как на постоянной основе, так и на периодичной.

Результатом данного этапа на основании утвержденных документов, прежде всего Методики и порядка обеспечения качества данных в информационных системах, формируются отчеты, содержащие как фактические значения критериев оценки качества данных, их сравнение с установленными, и соответствующие рекомендации по приведению качества данных в соответствующий вид и определение факторов, повлиявших на данные факты.

3. Процедуры исправления некачественных данных

При достижении (нарушении) сигнальных или контрольных значений по одному и более показателям качества данных, сотрудники, ответственные за обеспечение качества данных, производят процедуры исправления некачественных данных.

К ним могут относиться:

• Корректировка настроек формирования данных (поиск корректируемой записи в потоках данных, изменение полей записи, в т.ч. удаление и/или добавление)
• Корректировка настроек журналирования (логирования) и адресной передачи данных (изменение/повышение уровня логирования (настроек файла журнала)
• Корректировка перечня ИС, с которых производится сбор данных (актуализация входящих/исходящих потоков данных в случае изменения перечня ИС)
• Корректировка состояния внутренней сети и настроенных маршрутов трафика (оптимизация маршрутов сетевого трафика для повышения эффективности и стабильности передачи данных по сетям передачи данных)
• Обеспечение возможности восстановления данных, критичных для осуществления бизнес-процессов (резервирование (бэкапы, зеркалирование, кластеризация)

4. Процедуры совершенствования системы обеспечения качества данных

На основании выявленных недостатков и оцененном уровне качества данных определяется необходимость совершенствования процесса обеспечения качества данных и выделяемых ресурсах по управления факторами, влияющими на качество данных.

Результат проведения оценки качества данных в информационных системах

Итогом проведения оценки качества данных будет являться отчет о проведении независимой оценки с выявленными недостатками и рекомендациями по улучшению процесса обеспечения качества данных.

Кроме выполнения требований 716-П, независимая оценка качества данных позволит определить эффективность обеспечения качества данных и необходимость привлечения ресурсов, так как качественные данные являются неотъемлемым атрибутом для функционирования банковской организации.

Также результатом будет совершенствование процесса обеспечения качества данных не только служб, ответственных за ИС банка, но и ответственных за бизнес-процессы организации.

Почему RTM Group?

• Эксперты обладают богатым опытом независимого аудита, судебных экспертиз и представительства в судах, преподавательским опытом.
• RTM Group – экспертная компания, не является интегратором и не предоставляет аутсорсинговых услуг – поэтому наш аудит не сводится к “продаже” дополнительных услуг.
• Мы – полностью независимая компания, не аффилированная ни с одним брендом или вендором.
• Мы обладаем лицензиями:
  • Лицензия ФСТЭК России на деятельность по технической защите конфиденциальной информации
  • Лицензия ФСТЭК России на деятельность по разработке и производству средств защиты конфиденциальной информации
  • Лицензия ФСБ России на работу со средствами криптозащиты