3.1 Репрезентативность ГОСТ Р 59900-2021
Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.
Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.
Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки [из 3.1 Репрезентативность ГОСТ Р 59900–2021]
3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900-2021
В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.
Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.
Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой [из 3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900–2021]
3.3 Актуальность контрольной выборки ГОСТ Р 59900-2021
Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.
Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными [из 3.3 Актуальность контрольной выборки ГОСТ Р 59900–2021]
3.4 Повторное использование контрольной выборки ГОСТ Р 59900-2021
Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки [из 3.4 Повторное использование контрольной выборки ГОСТ Р 59900–2021]
