ГОСТ Р 57700.18—2019 Высокопроизводительные вычислительные системы. Требования к тестовым программам приемочных испытаний. High–perfomance computing systems. Requirements for acceptance test programs. УДК 001.4:004:006.354 ОКС 01.040.01, 07.020, 07.030. Редакция от 06.11.2023.
1 Область применения ГОСТ Р 57700.18-2019
Настоящий стандарт определяет требования к номенклатуре и функциональности тестовых программ, применяемых при разработке высокопроизводительных вычислительных систем (ВВС), а также при проведении приемочных испытаний ВВС в соответствии с ГОСТ 34.601 с целью получения оценки работоспособности ВВС в целом и количественной оценки отдельных параметров [из 1 Область применения ГОСТ Р 57700.18—2019]
2 Нормативные ссылки ГОСТ Р 57700.18—2019
В настоящем стандарте использована нормативная ссылка на следующий стандарт:
[из 2 Нормативные ссылки ГОСТ Р 57700.18—2019]
3 Термины, определения и сокращения ГОСТ Р 57700.18-2019
3.1 Термины и определения ГОСТ Р 57700.18-2019
В настоящем стандарте применены следующие термины с соответствующими определениями:
Высокопроизводительная вычислительная система, ВВС по ГОСТ Р 57700.18-2019
Информационная многопроцессорная вычислительная система с распределенной памятью, обеспечивающая высокую суммарную производительность вычислений и состоящая из большого числа вычислительных узлов, файловых и инструментальных серверов, объединенных высокоскоростными каналами связи, и сетевых подсистем, обеспечивающих удаленные доступ, мониторинг и управление указанной системой [из 3.1.1 ГОСТ Р 57700.18—2019]
Тестовая программа, ТП по ГОСТ Р 57700.18-2019
Компьютерная программа, предназначенная для оценки параметров ВВС [из 3.1.2 ГОСТ Р 57700.18—2019]
3.2 Сокращения ГОСТ Р 57700.18-2019
В настоящем стандарте использованы следующие сокращения:
- ВВС — высокопроизводительная вычислительная система;
- ТП — тестовая программа;
- ТЗ — техническое задание;
- ПО — программное обеспечение;
- ПО КМ — программное обеспечение компьютерного моделирования.
[из 3.2 Сокращения ГОСТ Р 57700.18—2019]
4 Классификация тестовых программ ГОСТ Р 57700.18-2019
4.1 Основной целью тестирования является общая оценка возможности эффективного применения ВВС для решения задач различного класса, характерных для организации–пользователя, а также подтверждение количественных характеристик ВВС, заявленных в ТЗ. Кроме того, тестовые программы используются в процессе разработки и наладки ВВС [из 4.1 ГОСТ Р 57700.18—2019]
4.2 Эффективность применения ВВС в основном определяется оптимальным сочетанием производительности вычислительных устройств, коммуникационной подсистемы (эффективность распараллеливания), файловой подсистемы, а также работой систем планирования заданий, мониторинга и диагностики [из 4.2 ГОСТ Р 57700.18—2019]
4.3 Тестирование ВВС включает в себя следующие направления:
- оценка эффективности применения ВВС в целом, а также оценка отдельных подсистем, компонент и параметров;
- оценка производительности ВВС в целом, а также отдельных вычислительных устройств в различных режимах на актуальных для организации–пользователя задачах и алгоритмах;
- оценка эффективности распараллеливания (возможности масштабирования) для задач различного класса с учетом особенностей алгоритмов распараллеливания;
- оценка надежности ВВС в целом и ее отдельных компонент при проведении расчетов характерных задач в различных режимах;
- оценка отдельных параметров коммуникационной подсистемы ВВС (максимальная и средняя скорость межпроцессорных обменов в зависимости от размера сообщения, бисекция и т. п.);
- оценка производительности файловой подсистемы ВВС;
- оценка работоспособности систем планирования заданий, мониторинга и диагностики.
[из 4.3 ГОСТ Р 57700.18—2019]
4.4 Рассмотренный спектр направлений работ по тестированию ВВС определяет необходимость применения достаточно широкого набора тестов, начиная от системных до построенных на основе ПО КМ организации–пользователя.
По своему назначению и содержанию тесты разделяют на четыре группы:
- специальные тесты для количественной оценки отдельных компонент и характеристик ВВС;
- международные прикладные тесты для оценки производительности, эффективности распараллеливания, а также оценки отдельных параметров ВВС;
- методические прикладные тесты для оценки правильности функционирования, эффективности распараллеливания и производительности ВВС. Могут создаваться организацией–пользователем ВВС либо сторонней организацией;
- производственные тесты для оценки работоспособности и надежности ВВС на характерных для организации–пользователя задачах с использованием ПО КМ. Могут создаваться организацией–пользователем ВВС либо сторонней организацией.
[из 4.4 ГОСТ Р 57700.18—2019]
5 Требования к тестовым программам ГОСТ Р 57700.18-2019
5.1 Специальные ТП должны:
- обеспечивать оценку основных количественных характеристик аппаратно–программного обеспечения ВВС (производительность вычислительных устройств, памяти, файловой подсистемы, коммуникационной подсистемы и т. п.), соответствующих описанию ТП;
- являться свободно распространяемыми с открытым исходным кодом;
- содержать описание функциональных возможностей и инструкцию по применению;
- быть общепризнанными на мировом уровне;
- быть доступным для большого числа разного по архитектуре аппаратно–программного обеспечения (переносимость).
[из 5.1 ГОСТ Р 57700.18—2019]
5.2 Международные прикладные ТП должны:
- содержать актуальные алгоритмы моделирования физических процессов и методы распараллеливания (соответствуют вычислительным алгоритмам прикладных методик зарубежной разработки);
- являться свободно распространяемыми с открытым исходным кодом;
- содержать описание функциональных возможностей и инструкцию по применению;
- быть общепризнанными на мировом уровне;
- обеспечивать оценку правильности функционирования ВВС;
- обеспечивать оценку производительности ВВС, выраженную в количестве операций с плавающей запятой в секунду либо в других единицах;
- позволять использовать все вычислительные ресурсы вычислительного узла и ВВС в целом.
[из 5.2 ГОСТ Р 57700.18—2019]
5.3 Методические прикладные ТП должны:
- содержать численные алгоритмы моделирования физических процессов и методы распараллеливания, характерные для ПО КМ организации–пользователя ВВС;
- быть доступными вместе с исходными текстами;
- содержать описание функциональных возможностей и инструкцию по применению;
- обеспечивать оценку правильности функционирования ВВС;
- обеспечивать оценку производительности ВВС, выраженную в количестве операций с плавающей запятой в секунду либо в других единицах;
- обеспечивать оценку эффективности распараллеливания ВВС методом слабого масштабирования;
- позволять использовать все вычислительные ресурсы вычислительного узла и ВВС в целом;
- обеспечивать возможность изменения параметров для оптимальной адаптации к аппаратному и системному ПО тестируемой ВВС.
[из 5.3 ГОСТ Р 57700.18—2019]
5.4 Производственные ТП должны:
- являться образцами ПО КМ организации–пользователя ВВС (в том числе могут быть коммерческим ПО);
- содержать описание функциональных возможностей и инструкцию по применению;
- обеспечивать оценку правильности функционирования ВВС на задачах, характерных для организации–пользователя ВВС.
[из 5.4 ГОСТ Р 57700.18—2019]
Библиография ГОСТ Р 57700.18-2019
[1] Информация о Stream [Электронный ресурс] reality.sgi.com/employees/mccalpin_asd
[2] Информация о IOR [Электронный ресурс] githab.com/VI4IO/io-500-dev
[3] Информация о b_eff [Электронный ресурс] hlrs.de/mpi/b_eff
[4] Информация о HPCG [Электронный ресурс] hpcg-benchmark.org
[5] Информация о NPB [Электронный ресурс] nas.nasa.gov/Software/NPB/
[из Библиография ГОСТ Р 57700.18-2019]
