Интероперабельность может быть оценена как в ходе тестирования в рамках отраслевых систем сертификации и оценки качества, так и в ходе эксплуатации сложной системы [из 5.8.1 ГОСТ Р 59797-2021]
Аттестационное тестирование программно-аппаратных комплексов сложных систем должно быть направлено на оценку соответствия стандартам профиля, требованиям, предъявляемым концепцией к показателям качества проблемно-ориентированной модели интероперабельности [из 5.8.2 ГОСТ Р 59797-2021]
Таким образом, оценка уровня интероперабельности сложных систем и их элементов должна быть комплексной и инклюзивной по отношению к ряду характеристик качества. В свою очередь каждая характеристика качества оценивается по ряду показателей, образуя модель комплексной оценки сложной системы и ее элементов с точки зрения способности к взаимодействию друг с другом. При этом конкретный состав характеристик и параметров оценки зависит от назначения конкретной системы и особенностей ее функционирования [из 5.8.3 ГОСТ Р 59797-2021]
При выборе конкретных показателей различных характеристик важно отдавать предпочтение тем, которые являются наиболее вероятными барьерами интероперабельности. Оценка качества должна быть направлена на поиск и устранение таких барьеров [из 5.8.4 ГОСТ Р 59797-2021]
При этом, учитывая сложность вопроса оценки интероперабельности сложной системы, целесообразно применять комбинированные подходы на основе натурных экспериментов с применением средств автоматизированного тестирования и расчетных экспериментов с имитационно-статистически- ми моделями, разработанными для оценки рисков возникновения барьеров интероперабельности [из 5.8.5 ГОСТ Р 59797-2021]
Подобный подход позволяет осуществлять разностороннюю оценку функционирования сложной системы и ее элементов и своевременно выявлять барьеры интероперабельности различной природы [из 5.8.6 ГОСТ Р 59797-2021]
Тестирование целесообразно проводить в три этапа:
- автономное тестирование программного обеспечения элементов сложной системы;
- сборочное тестирование сегментов и подсистем;
- функциональное (нагрузочное) тестирование сложной системы.
[из 5.8.7 ГОСТ Р 59797-2021]
