Как убедиться, что учебный контент работает? Как оценить, достигли ли студенты целей обучения? Что надо улучшить в образовательной части продукта, чтобы добиться бизнес-результатов? Эти вопросы регулярно встают перед каждым EdTech-проектом. В книге «Психометрика в EdTech: первые шаги» — ответы на них и погружение в психометрику, науку об измерениях в образовании.
Психометрика в EdTech: первые шаги
Бумажная книга Электронная книга
Логируем учебные действия
Качество любой метрики зависит от качества данных, на основании которых эта метрика рассчитывается. В компьютерных науках существует концепция «мусор на входе — мусор на выходе», которая заключается в том, что некорректные (или «мусорные», то есть содержащие шум или ошибки) входные данные приводят к абсурдному результату. Рассмотрим несколько ситуаций, иллюстрирующих эту концепцию. Все примеры реальны и основаны на онлайн-тренажере по программированию, в котором студенты решают задачи, сопровождающиеся краткой теорией и встроенными подсказками, которыми можно воспользоваться по желанию. Задачи по содержанию объединены в блоки — уроки.
Ситуация 1. Система логирования данных фиксирует только общее количество (или долю) верно решенных студентом задач в уроке. Это очень ограниченный подход к логированию, так как он не фиксирует результаты решения отдельных задач. Аналитик, работающий с такими данными, видит, например, что студент решил 7 из 10 позиций. Однако это не дает информации о том, с какими именно задачами он не справился, соответственно, отсутствует возможность рассчитать трудность каждой. В результате методист, разрабатывающий курс, может сделать неверные выводы о том, какие задачи и связанная с ними теория нуждаются в доработке.
Ситуация 2. Представим, что система записывает информацию о решении студентом каждой задачи, при этом логирует только последнюю попытку, удаляя все предыдущие. В этом случае аналитик получает искаженную информацию, так как последние попытки в подавляющем большинстве случаев успешны. Такие данные скрывают реальную картину усилий студента, потому что мы не знаем, сколько попыток им было предпринято, прежде чем он нашел правильное решение. Это может ввести в заблуждение методиста, который, основываясь на полученных данных, может считать, что студенты с легкостью справляются с предложенными задачами, и, возможно, задумается о том, чтобы добавить задачи «со звездочкой».
Ситуация 3. Система логирует каждую попытку решения задачи, но не фиксирует использование студентами подсказок. Аналитик может интерпретировать успешные попытки как хорошее освоение материала, но такая интерпретация окажется искаженной и даже ложной. Методист, не имея информации о том, как студенты используют дополнительные ресурсы, не оценит их значимости в процессе обучения.
В каждом из этих примеров мы видим феномен «не то чтобы совсем „мусор на входе — мусор на выходе“», но «недостаточно тщательный подход к отбору данных на входе — возможные ошибки на выходе», и это происходит из-за недостаточности или неадекватности логированных данных. В первом случае, когда отслеживается только общее количество решенных задач, мы теряем информацию о сложности отдельных заданий и о том, с какими именно проблемами сталкиваются студенты.
Во втором примере, фиксируя только последнюю попытку решения, упускаем из виду всю историю попыток и усилий, что создает ошибочное представление об обучении. В третьем случае, не учитывая использование подсказок, получаем искаженное представление об успехе студентов. Таким образом, в каждом из этих сценариев неполные или неадекватные данные ведут к неправильным или искаженным выводам, что влияет на качество разработки и оптимизации EdTech-продуктов.
Описанные ситуации подчеркивают критическую важность корректного логирования данных. Тщательное и всестороннее логирование не только помогает аналитикам получить адекватное представление об учебном процессе, но и обеспечивает методистов необходимой информацией для адаптации и улучшения курсов. Так мы можем сформулировать первый принцип: лог должен репрезентировать взаимодействие студента с образовательным продуктом. Это значит, что каждое учебное действие студента внутри продукта должно логироваться.
Что еще почитать:
Минимальные учебные элементы и минимальные учебные действия
Для корректного логирования нужно определить минимальные (атомарные) учебные элементы внутри продукта. Что считается минимальным элементом? Например, одно задание в тесте. Почему этот элемент минимальный? Потому что тестовое задание одно, и оно цельно или неделимо. Другими словами, нет ничего более мелкого и при этом цельного. Минимальным учебным элементом является видеоролик или текстовый материал. Видеоролик и текстовый материал — целые и неделимые единицы контента. А вот урок, состоящий из одного видеоролика, одного текстового материала и трех тестовых заданий, минимальным учебным элементом назвать нельзя.
Для иллюстрации воспользуемся метафорой «яблоневый сад». Сад один, но он может быть рассмотрен как группа деревьев. Дерево — как совокупность веток. Каждая ветка — как набор листьев и плодов. Таким образом, лист и плод будут минимальными элементами. Конечно, мы можем увлечься и начать препарировать листья и плоды, а затем вооружиться микроскопом… Но все же образ чего-то минимально целого и, главное, здравый смысл остановят нас. Почему здравый смысл? Потому что поиск минимального элемента мы ведем в интересах методиста и студента, а для большинства учебных продуктов минимальными элементами будут одно задание и одна единица учебного материала в формате видео или текста.
Разобравшись с минимальными учебными элементами, можем определиться и с минимальными учебными действиями. Эта книга написана в большей степени для практиков образования, чем для академических исследователей. А практика любит простоту. Именно поэтому, исходя из простоты, минимальным учебным действием будем считать цельное взаимодействие студента с минимальным учебным элементом. Например, в случае тестового задания этим взаимодействием является выполнение этого задания (пока мы не говорим о правильности выполнения; об этом речь пойдет далее). В случае, когда рассматриваются текстовый материал и видеоролик, минимальными учебными действиями будут прочтение этого материала и просмотр ролика. Почему такой подход простой? Потому что мы можем однозначно ответить на вопрос о том, совершено ли студентом минимальное учебное действие: «Да, тестовое задание выполнено»; «Нет, видеоролик не просмотрен»; «Да, текстовый материал прочитан». Такой подход обеспечивает достаточность данных для дальнейшей психометрической работы.
Однако возникает вопрос: а разве нельзя прочесть половину текстового материала или просмотреть половину видеоролика? Конечно, можно. Для этого существуют более сложные подходы к логированию данных, фиксирующие, например, старт, паузу, возобновление, завершение взаимодействия с видеороликом или текстовым материалом. Такое тонкое логирование в настоящее время используется преимущественно в академических исследованиях: например, можно ли по положению курсора на экране оценивать, куда смотрит студент, чтобы не использовать трудоемкие айтрекеры. Но, учитывая практический, а не академический фокус этой книги, будем относить такое логирование к дополнительным возможностям.
Итак, мы разобрались с тем, что такое минимальные учебные элементы и минимальные учебные действия. И помним главный принцип: лог должен репрезентировать взаимодействие студента с образовательным продуктом.
Из книги «Психометрика в EdTech: первые шаги».
Заказать:
