Из ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании

ГОСТ Р 59900–2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании. Artificial intelligence systems. Typical requirements for check samples of initial data for testing artificial intelligence systems in education. УДК 004.896:006.354 ОКС 35.240.90. Редакция от 12.12.2023.

1 Область применения ГОСТ Р 59900-2021

Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных [из 1 Область применения ГОСТ Р 59900–2021]

2 Термины и определения ГОСТ Р 59900-2021

В настоящем стандарте применены следующие термины с соответствующими определениями:

Гиперпараметры (в машинном обучении) по ГОСТ Р 59900-2021

Параметры системы искусственного интеллекта, значения которых задаются до начала обучения и не изменяются в процессе обучения.

Примечание — У системы искусственного интеллекта может не быть гиперпараметров.

[из 2.2 ГОСТ Р 59900–2021]

Метрика (в машинном обучении) по ГОСТ Р 59900-2021

Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.

Примечание — При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.

[из 2.6 ГОСТ Р 59900–2021]

3 Общие требования к контрольным выборкам исходных данных ГОСТ Р 59900-2021

3.1 Репрезентативность ГОСТ Р 59900-2021

Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.

Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.

Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки [из 3.1 Репрезентативность ГОСТ Р 59900–2021]

3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900-2021

В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.

Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.

Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой [из 3.2 Ограничение в использовании контрольной выборки на этапе обучения системы ГОСТ Р 59900–2021]

3.3 Актуальность контрольной выборки ГОСТ Р 59900-2021

Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.

Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными [из 3.3 Актуальность контрольной выборки ГОСТ Р 59900–2021]

3.4 Повторное использование контрольной выборки ГОСТ Р 59900-2021

Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки [из 3.4 Повторное использование контрольной выборки ГОСТ Р 59900–2021]

4 Объекты данных в образовании ГОСТ Р 59900-2021

4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:

  • описание и программы образовательных дисциплин, учебно–методические материалы;
  • характеристики участников образовательной деятельности;
  • учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);
  • операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;
  • продуктивные результаты образовательной деятельности (созданные артефакты, в том числе в цифровой форме);
  • оценки действий и артефактов;
  • показатели и характеристики среды обучения.

[из 4.1 ГОСТ Р 59900–2021]

4.2 Для каждого типа объекта должен быть определен период изменений, необходимый для обеспечения актуальности данных в контрольных выборках.

Например, для образовательных программ, должен быть назначен период изменения, равный принятому сроку обновления образовательных программ [из 4.2 ГОСТ Р 59900–2021]

4.3 Примеры видов наборов данных и требования к контрольным выборкам для каждой категории данных представлены в приложении А [из 4.3 ГОСТ Р 59900–2021]

5 Требования к описанию контрольных выборок данных в образовании ГОСТ Р 59900-2021

5.1 Контрольные выборки данных должны иметь определенный набор метаданных. Данный набор можно определить в трех категориях:

  • описательные метаданные, описывают содержание и состояние данных;
  • технические метаданные, описывают технические особенности хранения и обработки данных;
  • операционные метаданные, описывают процессы обработки данных и доступа к ним.

[из 5.1 ГОСТ Р 59900–2021]

5.2 Технические и операционные метаданные контрольных выборок должны содержательно соответствовать метаданным обучающей и валидационной выборок, на которых производилось обучение системы искусственного интеллекта, а также метаданным данных, которые будут использоваться в процессе эксплуатации образовательного продукта с алгоритмами искусственного интеллекта. Примеры наборов соответствующих данных приведены в разделах 4–6 таблицы А.1 приложения А [из 5.2 ГОСТ Р 59900–2021]

5.3 Описательные метаданные контрольных выборок данных в образовании должны содержать следующие характеристики:

  • контекст сбора данных (название образовательной программы, учебного курса, мероприятия и др.);
  • характер данных (описание и план деятельности, фактически осуществленная деятельность, оценка деятельности);
  • источник данных (обучающийся, педагог и др.);
  • вид данных (данные о характеристиках обучающегося и (или) педагога, данные о деятельности);
  • уровень данных о деятельности (деятельность, действие, операция);
  • вид образования (общее образование, профессиональное образование, дополнительное образование и др.);
  • уровень образования (дошкольное образование; начальное общее образование; основное общее образование; среднее общее образование; среднее профессиональное образование; высшее образование – бакалавриат; высшее образование – специалитет, магистратура; высшее образование – подготовка кадров высшей квалификации);
  • возраст обучающихся;
  • уровень подготовки обучающихся;
  • особенности обучающихся.

[из 5.3 ГОСТ Р 59900–2021]

Приложение А (обязательное) - Примеры наборов данных в образовании и требования к контрольным выборкам ГОСТ Р 59900-2021

Примеры наборов данных в образовании и требования к контрольным выборкам приведены в таблице А.1.

Таблица А.1 — Примеры наборов данных в образовании и требования к контрольным выборкам

№

Наборы данных

Требования к контрольной выборке

1

Описание курса и учебно–методические материалы

1.1

Описание предмета/курса/тематического модуля в каталоге (содержит требования к участникам, количество контактных часов, зачетных единиц, тип и т.п.)

Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно

1.2

Структура активности

Выборка должна обеспечивать использование данных для привязки образовательных результатов к действиям пользователя

1.3

Образовательные результаты (разметка образовательных результатов)

Выборка должна содержать текстовые описания образовательных результатов. Выборка должна обеспечивать использование данных для соотнесения деятельности обучающегося с результатами обучения

1.4

Содержание образования

Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно

1.5

Правила оценивания

Выборка должна обеспечивать использование данных для контроля соответствия оценок образовательным результатам

1.6

Методика оценки/диагностики

Выборка должна обеспечивать использование данных для контроля выводов о достижении образовательных результатов или результатах диагностики

2

Данные о продуктивной деятельности обучающегося

2.1

Запись о деятельности и результате деятельности (в привязке к образовательному результату)

Основная единица учета деятельности обучающегося. Выборка должна обеспечивать использование данных для демонстрации компетенций обучающегося

2.2

Созданные обучающимся артефакты (в процессе учебной/проектной деятельности) в привязке к деятельности и образовательному результату (презентации, конспекты, схемы, чертежи, исходные тексты программ, в том числе в цифровой форме)

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

2.3

Личный дневник обучающегося, дневник его проектной команды

Выборка должна обеспечивать использование данных для отслеживания прогресса и качества деятельности

2.4

Записи о прохождении командой значимых вех в проектной деятельности

Выборка должна обеспечивать использование данных для отслеживания прогресса и качества проектной деятельности, проявления командой проекта определенных компетенций, достижения результатов обучения

3

След оценки деятельности

3.1

Набранные баллы (оценки за задание/урок/тематический раздел/курс)

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

3.2

Оценки обучающихся и отзывы

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

3.3

Обратная связь участников образовательного процесса (в том числе, рефлексия)

Выборка должна обеспечивать использование данных для формирования предположений об образовательных результатах, а также для оценки курсов/мероприятий/элементов курсов/личностного развития обученного

3.4

Экспертная оценка (свидетельства наблюдателей о проявлении навыков/компетенций)

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

3.5

Полученные сертификаты (в виде изображений/документов)

Выборка должна обеспечивать использование данных для подтверждения прохождения обучения и формирования определенных компетенций обучаемых

3.6

Оценка артефактов, проектов

Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого

3.7

Достижение (получение статуса, бейджа и т.п.)

Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого

4

След взаимодействия

4.1

Отдельные действия пользователя в системе, имеющие смысл с точки зрения обучения (просмотр видео, ответ на конкретный вопрос, запрос подсказки и т.п.)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также – для оценки учебного курса/мероприятия

4.2

«Кликстрим» (нажатия кнопок, клики, переходы между страницами, скроллинг)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также – для оценки учебного курса/мероприятия

4.3

Факты и содержание переписки в ИТ–системах (в т.ч. – активность пользователя в открытых системах, социальных сетях и т.п.)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе

4.4

Факты общения участников образовательной деятельности в очном взаимодействии

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе

4.5

Отдельные события в системах проектной деятельности (создание задачи, изменение статуса задачи и т.п.)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося или проектной команды

5

След состояния

5.1

Изменение настроек и профиля в ИТ–системах

Выборка должна обеспечивать использование данных для анализа изменения поведения обучающегося, для анализа целей

6

След участия/мероприятия

6.1

Фиксация присутствия в определенном месте

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций: также – для оценки учебного курса/мероприятия

6.2

Фиксация факта использования содержания образования без подтверждающей продуктивной деятельности

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций: также – для оценки учебного курса/мероприятия

6.3

Состав и описание команд обучающихся при групповой/командной деятельности

Выборка должна обеспечивать использование данных для подтверждения участия в мероприятии

6.6

Проявленные роли обучающегося в командном взаимодействии

Выборка должна обеспечивать использование данных для подтверждения способности выполнения роли

6.7

Описание проекта

Выборка должна обеспечивать использование данных для выявления образовательных результатов, основанных на проектной деятельности

7

Целеполагание и продвижение по траектории

7.1

Цели пользователя (декларируемые им самим)

Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогических работников

7.2

Рефлексия о достижении целей/продвижении

Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогов

[из Приложение А (обязательное) – Примеры наборов данных в образовании и требования к контрольным выборкам ГОСТ Р 59900-2021]