ГОСТ Р 59792—2021 Информационные технологии. Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем. Information technology. Set of standards for automated systems. Types of automated systems tests. УДК 004:006.354 МКС 35.240; 01.040.35. Редакция от 10.12.2023.
1 Область применения ГОСТ Р 59792-2021
Настоящий стандарт распространяется на автоматизированные системы (АС), используемые в различных видах деятельности (исследования, проектирование, управление и т. п.), включая их сочетания, создаваемые в организациях, объединениях и на предприятиях (далее — организациях).
Настоящий стандарт устанавливает виды испытаний АС и общие требования к их проведению.
Термины и определения основных понятий в области автоматизированных систем, используемых настоящем стандарте, приведены по ГОСТ 34.003 [из 1 Область применения ГОСТ Р 59792—2021]
2 Нормативные ссылки ГОСТ Р 59792-2021
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
- ГОСТ 34.003 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения
- ГОСТ 34.601 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания
- ГОСТ Р 59795 Информационные технологии. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Требования к содержанию документов
[из 2 Нормативные ссылки ГОСТ Р 59792—2021]
3 Общие положения ГОСТ Р 59792-2021
3.1 Испытания АС проводят на стадии «Ввод в действие» по ГОСТ 34.601 с целью проверки соответствия создаваемой АС требованиям технического задания на создание АС (далее — ТЗ на АС) [из 3.1 ГОСТ Р 59792—2021]
3.2 Испытания АС представляют собой процесс проверки выполнения заданных функций АС, определения и проверки соответствия требованиям ТЗ на АС количественных и (или) качественных характеристик АС, выявления и устранения недостатков в действиях системы, в разработанной документации [из 3.2 ГОСТ Р 59792—2021]
3.3 Для АС устанавливают следующие основные виды испытаний:
- предварительные;
- опытная эксплуатация;
- приемочные.
Примечания
- Допускается дополнительно проведение других видов испытаний АС и их частей.
- Допускается классификация приемочных испытаний в зависимое гм от статуса приемочной комиссии (состав членов комиссии и уровень его утверждения).
- Перечень проводимых испытаний и статус приемочной комиссии устанавливают в договоре и (или) ТЗ на АС.
[из 3.3 ГОСТ Р 59792—2021]
3.5 Для планирования и проведения всех видов испытаний разрабатывают соответствующие им документы «Программа и методика испытаний» в соответствии с ГОСТ Р 59795. Разработчики документов устанавливаются в договоре или ТЗ на АС [из 3.5 ГОСТ Р 59792—2021]
3.6 Программа и методика испытаний должна устанавливать необходимый и достаточный объем испытаний, обеспечивающий заданную достоверность получаемых результатов [из 3.6 ГОСТ Р 59792—2021]
3.7 Программа и методика испытаний может разрабатываться на АС в целом, ка части АС. В качестве приложения включаются тесты (контрольные примеры).
Программу и методику приемочных испытаний разрабатывают на АС в целом или на очереди ввода ее в эксплуатацию, если они указаны в ТЗ.
Программу и методику приемочных испытаний АС утверждает заказчик [из 3.7 ГОСТ Р 59792—2021]
3.8 Предварительные испытания АС проводят с целью предварительной оценки соответствия АС требованиям ТЗ на АС, а также определения ее работоспособности и готовности к опытной эксплуатации [из 3.8 ГОСТ Р 59792—2021]
3.9 Предварительные испытания следует выполнять после проведения разработчиком отладки и тестирования поставляемых технических и программных средств АС и представления им соответствующих документов об их готовности к испытаниям, а также после ознакомления персонала АС с эксплуатационной документацией [из 3.9 ГОСТ Р 59792—2021]
3.10 Опытную эксплуатацию АС проводят с целью определения фактических значений количественных и качественных характеристик АС, обнаружения и устранения ошибок, допущенных при проектировании и разработке АС, готовности пользователей и персонала к работе в условиях функционирования АС, определения фактической эффективности АС, корректировки (при необходимости) документации [из 3.10 ГОСТ Р 59792—2021]
3.11 Приемочные испытания АС проводят для определения соответствия АС техническому заданию на создание АС, оценки качества опытной эксплуатации и решения вопроса о возможности приемки АС в постоянную эксплуатацию [из 3.11 ГОСТ Р 59792—2021]
3.12 В зависимости от вида требований, предъявляемых к АС на испытаниях, проверке или аттестации подвергают:
- комплекс программных и технических средств;
- персонал;
- эксплуатационную документацию, регламентирующую деятельность пользователей и персонала при функционировании АС;
- АС в целом.
[из 3.12 ГОСТ Р 59792—2021]
3.14 Испытания АС следует проводить на объекте заказчика. По согласованию между заказчиком и разработчиком предварительные испытания и приемку программных средств АС допускается проводить на технических средствах разработчика при создании условий получения достоверных результатов испытаний [из 3.14 ГОСТ Р 59792—2021]
3.15 Допускается последовательное проведение испытаний по соответствующим программам и методикам испытаний и сдача частей АС в опытную и постоянную эксплуатацию при соблюдении установленной в ТЗ на АС очередности ввода АС в действие [из 3.15 ГОСТ Р 59792—2021]
4 Предварительные испытания ГОСТ Р 59792-2021
4.1 Предварительные испытания АС могут быть:
- автономные;
- комплексные.
[из 4.1 ГОСТ Р 59792—2021]
4.2 Автономные испытания ГОСТ Р 59792-2021
4.2.1 Автономные испытания АС следует проводить в соответствии с программой и методикой предварительных испытаний. Для каждой части АС могут разрабатываться методики автономных испытаний, утверждаемые разработчиком части АС [из 4.2.1 ГОСТ Р 59792—2021]
4.2.2 В программе и методике предварительных испытаний для автономных испытаний указывают:
- перечень и комплектность объектов автономных испытаний;
- описание взаимодействия пользователей с комплексами программных и технических средств;
- объем, условия, порядок и методы проведения испытаний и обработки результатов;
- материально—техническое обеспечение испытаний;
- перечень функций, подлежащих проверке;
- критерии приемки частей АС по результатам испытаний;
- порядок, методики и условия проведения проверок функционирования частей АС;
- обеспечение безопасности при проведении испытаний.
К программе и методике предварительных испытаний следует прилагать график проведения автономных испытаний [из 4.2.2 ГОСТ Р 59792—2021]
4.2.3 Подготовленные и согласованные тесты (контрольные примеры) на этапе автономных испытаний должны обеспечить:
- полную проверку выполнения функций и процедур по перечню, согласованному с заказчиком;
- необходимую точность вычислений, установленную в ТЗ на АС;
- проверку основных временных характеристик функционирования программных средств (при необходимости);
- проверку показателей АС для ее составных частей на соответствие требованиям ТЗ на АС.
[из 4.2.3 ГОСТ Р 59792—2021]
4.2.4 В качестве исходной информации для теста рекомендуется использовать фрагмент реальной информации заказчика в объеме, достаточном для обеспечения необходимой достоверности испытаний [из 4.2.4 ГОСТ Р 59792—2021]
4.2.5 Результаты автономных испытаний частей АС фиксируют в протоколах испытаний по формам, приведенным в программе и методике предварительных испытаний [из 4.2.5 ГОСТ Р 59792—2021]
4.2.6 В случае, если результаты проведенных автономных испытаний не будут удовлетворять требованиям к проверяемой части АС, указанным в программе и методике предварительных испытаний, либо выявлено нарушение требований по условиям проведения испытаний, указанная часть АС должна быть возвращена на доработку и назначен новый срок проведения испытаний [из 4.2.6 ГОСТ Р 59792—2021]
4.3 Комплексные испытания ГОСТ Р 59792-2021
4.3.1 Комплексные испытания АС проводят путем выполнения проверок согласно программе и методике предварительных испытаний. Результаты проверок фиксируют в протоколе. При положительных результатах проверок оформляют и утверждают акт приемки в опытную эксплуатацию. В случае если результаты одной или нескольких проверок не являются положительными, оформляют и утверждают акт о приостановке испытаний АС с указанием необходимости ее доработки. После доработки АС повторно предъявляется на испытания.
Комплексные испытания АС проводят путем выполнения комплексных тестов. Результаты испытаний отражают в протоколе [из 4.3.1 ГОСТ Р 59792—2021]
4.3.2 В программе и методике предварительных испытаний для комплексных испытаний АС или частей АС указывают:
- перечень и комплектность объектов комплексных испытаний;
- описание проверяемых взаимосвязей между объектами испытаний;
- очередность испытаний частей АС;
- объем, условия, порядок и методы проведения испытаний и обработки результатов;
- материально—техническое обеспечение испытаний;
- перечень функций, подлежащих проверке;
- очередность проверок частей АС и АС в целом;
- критерии приемки частей АС и АС в целом по результатам испытаний;
- порядок, методики и условия проведения проверок функционирования и взаимодействия частей АС, функционирования АС в целом;
- обеспечение безопасности при проведении испытаний.
К программе и методике предварительных испытаний следует прилагать график проведения комплексных испытаний [из 4.3.2 ГОСТ Р 59792—2021]
4.3.3 Для проведения комплексных испытаний должны быть представлены:
- АС или части АС, подвергаемые испытаниям;
- программа и методика предварительных испытаний;
- ТЗ на АС и ТЗ на части АС (при наличии);
- протоколы автономных испытаний частей АС и документы, подтверждающие устранение ошибок и замечаний, выявленных при автономных испытаниях;
- согласованные комплексные тесты (контрольные примеры);
- программные средства и оборудование, необходимые для проведения испытаний, и соответствующая им эксплуатационная документация.
[из 4.3.3 ГОСТ Р 59792—2021]
4.3.4 При комплексных испытаниях допускается использовать в качестве исходной информацию, полученную на автономных испытаниях частей АС [из 4.3.4 ГОСТ Р 59792—2021]
4.3.5 Комплексный тест должен:
- обеспечивать проверку выполнения функций АС или частей АС во всех режимах функционирования, установленных в ТЗ на АС. в том числе проверку взаимодействия между частями АС;
- обеспечивать проверку реакции системы на некорректную информацию и аварийные ситуации;
- обеспечивать проверку показателей АС в целом и ее составных частей на соответствие требованиям ТЗ на АС.
[из 4.3.5 ГОСТ Р 59792—2021]
4.3.6 Протокол комплексных испытаний должен содержать заключение о готовности (неготовности) АС или ее соответствующей очереди к опытной эксплуатации, а также перечень необходимых доработок (при наличии) и рекомендуемые сроки их выполнения.
После завершения доработок проводят повторные комплексные испытания в необходимом объеме с оформлением протокола [из 4.3.6 ГОСТ Р 59792—2021]
4.3.7 Комплексные испытания завершаются оформлением и утверждением акта предварительных испытаний и подготовкой уведомления о готовности АС к опытной эксплуатации [из 4.3.7 ГОСТ Р 59792—2021]
5 Опытная эксплуатация ГОСТ Р 59792-2021
5.1 Опытную эксплуатацию проводят в соответствии с программой опытной эксплуатации, в которой указывают:
- условия и порядок функционирования АС и ее частей;
- продолжительность опытной эксплуатации, достаточную для проверки правильности функционирования АС при выполнении системой всех функций, перечисленных в ТЗ ка АС. и подготовленности персонала к работе со средствами АС в условиях ее опытной эксплуатации;
- порядок устранения недостатков, выявленных в процессе опытной эксплуатации.
[из 5.1 ГОСТ Р 59792—2021]
5.2 Во время опытной эксплуатации АС ведут журнал, в который заносят сведения о продолжительности функционирования АС, отказах, сбоях, аварийных ситуациях, изменениях параметров объекта автоматизации, проводимых корректировках документации и программных средств, наладке технических средств. Сведения фиксируют в журнале с указанием даты и ответственного лица. В журнал могут быть занесены замечания пользователей и персонала по удобству эксплуатации АС [из 5.2 ГОСТ Р 59792—2021]
5.3 По результатам опытной эксплуатации принимают решение о готовности предъявления частей АС и системы в целом на приемочные испытания, или о неготовности предъявления частей АС и системы в целом на приемочные испытания и необходимости ее доработки.
Опытная эксплуатация завершается оформлением и утверждением акта о завершении опытной эксплуатации и подготовкой уведомления о готовности АС к приемочным испытаниям [из 5.3 ГОСТ Р 59792—2021]
6 Приемочные испытания ГОСТ Р 59792-2021
6.1 Приемочные испытания проводят в соответствии с программой и методикой приемочных испытаний, в которой указывают:
- перечень и комплектность объектов приемочных испытаний;
- перечень требований, которым должны соответствовать АС и ее части (со ссылкой на пункты ТЗ на АС);
- объем, условия, порядок и методы проведения испытаний и критерии оценки результатов;
- перечень и последовательность проверок, которым должна быть подвергнута АС в соответствии с требованиями ТЗ на АС;
- методы выполнения проверок на соответствие показателей АС в целом и ее составных частей требованиям ТЗ на АС;
- материально—техническое и метрологическое обеспечение испытаний;
- критерии приемки АС и ее частей;
- реквизиты лиц, ответственных за проведение испытаний;
- порядок, методики и условия проведения проверок функционирования и взаимодействия частей АС, функционирования АС в целом в соответствии с требованиями ТЗ на АС;
- обеспечение безопасности при проведении испытаний;
- перечень и виды отчетной документации.
Программу и методику приемочных испытаний утверждает заказчик [из 6.1 ГОСТ Р 59792—2021]
6.2 Приемочные испытания АС или ее соответствующей очереди, вводимой в постоянную эксплуатацию, проводит комиссия, назначенная заказчиком, на объекте эксплуатации в соответствии с утвержденной им программой и методикой испытаний.
Сроки проведения приемочных испытаний и состав комиссии определяются заказчиком. В состав комиссии включаются представители разработчика [из 6.2 ГОСТ Р 59792—2021]
6.3 Для проведения приемочных испытаний должны быть представлены:
- уведомление о готовности АС или ее соответствующей очереди к приемочным испытаниям;
- ТЗ на АС и ТЗ на части АС (при наличии);
- АС или ее соответствующая очередь, подвергаемые испытаниям;
- документация на АС;
- программа и методика приемочных испытаний;
- согласованные тесты (контрольные примеры);
- программные средства и оборудование, необходимые для проведения испытаний, и соответствующая им эксплуатационная документация;
- акт приемки в опытную эксплуатацию;
- акт о завершении опытной эксплуатации.
При необходимости может быть представлена дополнительная документация, в том числе журналы опытной эксплуатации, материалы технического проекта, протоколы испытаний [из 6.3 ГОСТ Р 59792—2021]
6.4 Приемочные испытания в первую очередь должны включать проверку:
- полноты и качества реализации функций при штатных, предельных, критических значениях параметров объекта автоматизации и в других условиях функционирования АС, указанных в ТЗ на АС;
- удобства работы пользователей и персонала;
- средств и методов восстановления работоспособности АС после отказов;
- комплектности и качества эксплуатационной документации.
[из 6.4 ГОСТ Р 59792—2021]
6.5 Проверку полноты и качества выполнения функций АС рекомендуется проводить в два этапа. На первом этапе проводят испытания отдельных функций (задач, комплексов задач). При этом проверяют выполнение требований ТЗ на АС к функциям (задачам, комплексам задач). На втором этапе проводят проверку взаимодействия задач в АС и выполнение требований ТЗ на АС для АС в целом [из 6.5 ГОСТ Р 59792—2021]
6.6 По согласованию с заказчиком проверка задач в зависимости от их специфики может проводиться автономно или в составе комплекса. Объединение задач при проверке в комплексах целесообразно проводить с учетом общности используемой информации и внутренних связей [из 6.6 ГОСТ Р 59792—2021]
6.7 Проверку удобства работы пользователей и персонала проводят с учетом полноты и качества выполнения функций АС в целом.
Проверке подлежат:
- полнота сообщений и запросов, доступных оператору, и их достаточность для эксплуатации системы;
- возможность работы пользователей и персонала без специальной подготовки;
- реакций АС и ее частей на ошибки оператора, функциональность сервисных средств.
[из 6.7 ГОСТ Р 59792—2021]
6.8 Проверка средств восстановления работоспособности АС после отказов технических средств должна включать:
- проверку наличия в эксплуатационной документации рекомендаций по восстановлению работоспособности и полноту их описания;
- практическую выполнимость рекомендованных процедур:
- работоспособность средств автоматического восстановления функционирования (при их наличии).
[из 6.8 ГОСТ Р 59792—2021]
6.9 Проверку комплектности и качества эксплуатационной документации следует проводить путем анализа документации на соответствие требованиям нормативно—технических документов и ТЗ на АС [из 6.9 ГОСТ Р 59792—2021]
6.10 Результаты испытаний объектов, предусмотренных программой и методикой испытаний, фиксируют в протоколах, содержащих следующие разделы:
- назначение испытаний и номер раздела требований ТЗ на АС, по которому проводят испытание;
- состав технических и программных средств, используемых при испытаниях;
- указание проверок, в соответствии с которыми проводились испытания, обработка и оценка результатов;
- условия проведения испытаний и характеристики исходных данных;
- используемые средства тестирования;
- обобщенные результаты испытаний;
- выводы о результатах испытаний и соответствии созданной АС или ее частей определенному разделу требований ТЗ на АС.
[из 6.10 ГОСТ Р 59792—2021]
6.11 Протоколы испытаний объектов обобщают в едином протоколе, на основании которого делают заключение о соответствии системы требованиям ТЗ на АС и возможности оформления акта приемки АС в постоянную эксплуатацию [из 6.11 ГОСТ Р 59792—2021]
Приемочные испытания завершаются оформлением и утверждением акта о приемке АС в постоянную эксплуатацию [из 6.12 ГОСТ Р 59792—2021]
