Из ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании

1 Область применения ГОСТ Р 59900-2021

Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных [из 1 Область применения ГОСТ Р 59900-2021]

    3.1 Репрезентативность ГОСТ Р 59900-2021

    Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.

    Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.

    Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки [из 3.1 Репрезентативность ГОСТ Р 59900-2021]

      3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900-2021

      В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.

      Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.

      Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой [из 3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900-2021]

        3.3 Актуальность контрольной выборки ГОСТ Р 59900-2021

        Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.

        Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными [из 3.3 Актуальность контрольной выборки ГОСТ Р 59900-2021]

          3.4 Повторное использование контрольной выборки ГОСТ Р 59900-2021

          Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки [из 3.4 Повторное использование контрольной выборки ГОСТ Р 59900-2021]

            4.1 ГОСТ Р 59900-2021

            4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:

            • описание и программы образовательных дисциплин, учебно-методические материалы;
            • характеристики участников образовательной деятельности;
            • учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);
            • операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;
            • продуктивные результаты образовательной деятельности (созданные артефакты, в том числе в цифровой форме);
            • оценки действий и артефактов;
            • показатели и характеристики среды обучения.

            [из 4.1 ГОСТ Р 59900-2021]

              4.2 ГОСТ Р 59900-2021

              4.2 Для каждого типа объекта должен быть определен период изменений, необходимый для обеспечения актуальности данных в контрольных выборках.

              Например, для образовательных программ, должен быть назначен период изменения, равный принятому сроку обновления образовательных программ [из 4.2 ГОСТ Р 59900-2021]

                Страницы

                Подписка на Из ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании