В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.

Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.

Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой [из 3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900–2021]

Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки [из 3.4 Повторное использование контрольной выборки ГОСТ Р 59900–2021]

4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:

• описание и программы образовательных дисциплин, учебно–методические материалы;
• характеристики участников образовательной деятельности;
• учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);
• операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;
• продуктивные результаты образовательной деятельности (созданные артефакты, в том числе в цифровой форме);
• оценки действий и артефактов;
• показатели и характеристики среды обучения.

[из 4.1 ГОСТ Р 59900–2021]