Из ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании

Метрика (в машинном обучении) по ГОСТ Р 59900-2021

Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.

Примечание — При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.

[из 2.6 ГОСТ Р 59900–2021]

Приложение А (обязательное) - Примеры наборов данных в образовании и требования к контрольным выборкам ГОСТ Р 59900-2021

Примеры наборов данных в образовании и требования к контрольным выборкам приведены в таблице А.1.

Таблица А.1 — Примеры наборов данных в образовании и требования к контрольным выборкам

Наборы данных

Требования к контрольной выборке

1

Описание курса и учебно–методические материалы

1.1

Описание предмета/курса/тематического модуля в каталоге (содержит требования к участникам, количество контактных часов, зачетных единиц, тип и т.п.)

Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно

1.2

Структура активности

Выборка должна обеспечивать использование данных для привязки образовательных результатов к действиям пользователя

1.3

Образовательные результаты (разметка образовательных результатов)

Выборка должна содержать текстовые описания образовательных результатов. Выборка должна обеспечивать использование данных для соотнесения деятельности обучающегося с результатами обучения

1.4

Содержание образования

Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно

1.5

Правила оценивания

Выборка должна обеспечивать использование данных для контроля соответствия оценок образовательным результатам

1.6

Методика оценки/диагностики

Выборка должна обеспечивать использование данных для контроля выводов о достижении образовательных результатов или результатах диагностики

2

Данные о продуктивной деятельности обучающегося

2.1

Запись о деятельности и результате деятельности (в привязке к образовательному результату)

Основная единица учета деятельности обучающегося. Выборка должна обеспечивать использование данных для демонстрации компетенций обучающегося

2.2

Созданные обучающимся артефакты (в процессе учебной/проектной деятельности) в привязке к деятельности и образовательному результату (презентации, конспекты, схемы, чертежи, исходные тексты программ, в том числе в цифровой форме)

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

2.3

Личный дневник обучающегося, дневник его проектной команды

Выборка должна обеспечивать использование данных для отслеживания прогресса и качества деятельности

2.4

Записи о прохождении командой значимых вех в проектной деятельности

Выборка должна обеспечивать использование данных для отслеживания прогресса и качества проектной деятельности, проявления командой проекта определенных компетенций, достижения результатов обучения

3

След оценки деятельности

3.1

Набранные баллы (оценки за задание/урок/тематический раздел/курс)

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

3.2

Оценки обучающихся и отзывы

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

3.3

Обратная связь участников образовательного процесса (в том числе, рефлексия)

Выборка должна обеспечивать использование данных для формирования предположений об образовательных результатах, а также для оценки курсов/мероприятий/элементов курсов/личностного развития обученного

3.4

Экспертная оценка (свидетельства наблюдателей о проявлении навыков/компетенций)

Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций

3.5

Полученные сертификаты (в виде изображений/документов)

Выборка должна обеспечивать использование данных для подтверждения прохождения обучения и формирования определенных компетенций обучаемых

3.6

Оценка артефактов, проектов

Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого

3.7

Достижение (получение статуса, бейджа и т.п.)

Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого

4

След взаимодействия

4.1

Отдельные действия пользователя в системе, имеющие смысл с точки зрения обучения (просмотр видео, ответ на конкретный вопрос, запрос подсказки и т.п.)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также – для оценки учебного курса/мероприятия

4.2

«Кликстрим» (нажатия кнопок, клики, переходы между страницами, скроллинг)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также – для оценки учебного курса/мероприятия

4.3

Факты и содержание переписки в ИТ–системах (в т.ч. – активность пользователя в открытых системах, социальных сетях и т.п.)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе

4.4

Факты общения участников образовательной деятельности в очном взаимодействии

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе

4.5

Отдельные события в системах проектной деятельности (создание задачи, изменение статуса задачи и т.п.)

Выборка должна обеспечивать использование данных для анализа поведения обучающегося или проектной команды

5

След состояния

5.1

Изменение настроек и профиля в ИТ–системах

Выборка должна обеспечивать использование данных для анализа изменения поведения обучающегося, для анализа целей

6

След участия/мероприятия

6.1

Фиксация присутствия в определенном месте

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций: также – для оценки учебного курса/мероприятия

6.2

Фиксация факта использования содержания образования без подтверждающей продуктивной деятельности

Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций: также – для оценки учебного курса/мероприятия

6.3

Состав и описание команд обучающихся при групповой/командной деятельности

Выборка должна обеспечивать использование данных для подтверждения участия в мероприятии

6.6

Проявленные роли обучающегося в командном взаимодействии

Выборка должна обеспечивать использование данных для подтверждения способности выполнения роли

6.7

Описание проекта

Выборка должна обеспечивать использование данных для выявления образовательных результатов, основанных на проектной деятельности

7

Целеполагание и продвижение по траектории

7.1

Цели пользователя (декларируемые им самим)

Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогических работников

7.2

Рефлексия о достижении целей/продвижении

Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогов

[из Приложение А (обязательное) – Примеры наборов данных в образовании и требования к контрольным выборкам ГОСТ Р 59900-2021]

    Страницы

    Подписка на Из ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании