Рынок EdTech динамично развивается, и чтобы эффективно управлять этим бизнесом, необходимы точные и понятные показатели. Предлагаем краткий обзор бизнес- и образовательных метрик, которые делают продукт измеримым. Узнали о них из книги Дмитрия Аббакумова «Психометрика в EdTech: первые шаги», которую выпустили совместно с Яндекс Практикумом.
Бумажная книга Электронная книга
Психометрика в EdTech: первые шаги
Бизнес-метрики: краткий обзор
В EdTech любят метрики и используют их на самых разных уровнях управления бизнесом. Например, метрика рентабельности ROI (Return on Investment) помогает понять, окупились ли расходы на создание, рекламу и проведение курса, а метрика ROMI (Return on Marketing Investment) показывает, насколько хорошо работают используемые маркетингом инструменты для привлечения студентов на курс. Метрика количества уникальных пользователей представляет текущий объем аудитории курса и позволяет отследить динамику этой аудитории во времени, а LTV (Lifetime Value) — сколько прибыли приносит отдельный студент за все время взаимодействия с EdTech-провайдером.
Существуют метрики удовлетворенности и лояльности студентов. Например, CSI (Customer Satisfaction Index) говорит о том, доволен ли студент обучением в целом или его отдельными аспектами, NPS (Net Promoter Score) — готов ли студент рекомендовать конкретный курс своим знакомым и друзьям, a метрика реферальности — сколько новых студентов приходят благодаря рекомендации обучающихся в данное время студентов.
Для оценки качества обучения обычно используют метрики COR (Completion Rate), или «доходимость», которая показывает долю студентов, успешно завершивших обучение, и Transformation (или Success) Rate, которая отражает степень уверенности студента в том, что цели его обучения достигнуты. Наконец, как и любому бизнесу, EdTech важно изучать долю и причины возвратов, для чего используется соответствующая метрика.
Приведенный список, безусловно, неполный, но он отлично иллюстрирует, как важны метрики и работа с ними для современного образовательного бизнеса. Главная ценность упомянутых метрик заключается в том, что они делают бизнес видимым и, следовательно, управляемым. Однако парадокс заключается в том, что в них отлично выражена бизнес-составляющая, но практически отсутствует составляющая образовательная. Другими словами, показывают ли нам указанные метрики, работает или нет учебный контент и насколько хорошо он это делает; осваивают ли студенты желаемое и насколько уверенными они могут быть в этом; оптимальны ли формат обучения и учебная нагрузка и, собственно, происходит ли обучение в самом деле? Едва ли. Разве что косвенно.
Зачем нужна психометрика?
При этом наука, которая уже полтора века измеряет обучение и помогает настраивать его на студентов, есть. Она называется психометрика и дает прямые ответы на вопросы о студентах, контенте и их взаимодействии.
Главный принцип психометрики звучит так: чтобы измерить невидимое, нужно дать ему проявиться через наблюдаемое поведение, а затем воспользоваться специальной статистической формулой для обработки результатов этих наблюдений и вычисления соответствующей метрики.
Для того чтобы обрисовать современное представление о психометрическом моделировании, обратимся к метафоре. Представьте двух атлетов. Оба стараются изо всех сил, чтобы добиться желаемого результата. Это значит, что на результат оказывают влияние оба одновременно. Однако в результате поединка один одержит победу, а второй проиграет. Но кто из двух? Более сильный и ловкий, не так ли? Чтобы прогнозировать результат поединка, мы изучаем характеристику каждого атлета, статистику их побед и поражений, динамику массы тела и прошлых травм, отмечаем любимые приемы и слабые места, смену тренеров и команд, анализируем их предыдущие поединки, мысленно сравниваем друг с другом. А чтобы объяснить результаты текущего поединка, обращаем внимание на их взаимодействие, на условия поединка: кто оказался в новом для себя климате, а у кого произошла смена часовых поясов. Теперь на место одного атлета поставим студента, а на место второго — задание. Студент пытается решить задачу. Но сможет ли? На результаты этого «поединка» влияют «оба атлета»: как студент, так и задача. Чем сильнее студент, тем выше шансы на верное решение. Чем сложнее задача, тем эти шансы ниже. Важнейшая задача психометрики — исследовать максимально подробно и точно обе стороны: характеристики и студента, и задачи.
Посильность и дельта: примеры образовательных метрик
Давайте посмотрим, какие образовательные метрики помогают понять, что учебный контент работает, а студенты достигают целей обучения. Для примера разберем две из них — посильность и дельту.
Посильность
На базовом уровне метрика посильности рассчитывается для каждой задачи. Кроме того, она может быть рассчитана для любого уровня в иерархии учебного контента. Например, если задачи вложены в уроки, а уроки вложены в темы, помимо посильности задач можно определить посильность и уроков, и тем.
Как использовать метрику посильности? Основной сценарий касается ее применения для улучшения контента. Когда автор книги только пришел в Практикум, улучшение контента опиралось на фидбэк от студентов. Команда контента регулярно получала обратную связь и улучшала то, на что указывали. В целом это оправданная стратегия. Обратная связь от студентов — ценный источник информации. При этом стратегия имеет ряд недостатков. Во-первых, далеко не все студенты предоставляют обратную связь, даже если сталкиваются с серьезной проблемой в контенте. Во-вторых, они часто приводят довольно общие аргументы — например, «мне было сложно», — на основе которых трудно локализовать проблему (что конкретно и в каком месте вызвало эти сложности). В-третьих, потребуется много времени, чтобы собрать достаточное количество данных, указывающее на необходимость конкретного улучшения (а за это время элемент контента доставит студентам еще много неудобств). При этом, если править все при первом упоминании в обратной связи, не хватит никаких ресурсов (да это и совершенно не нужно). С метрикой посильности указанные проблемы смягчаются. У нас есть данные от каждого студента, взаимодействующего с каждым элементом контента. Мы имеем максимально возможную локализацию проблемы до конкретного задания. Наконец, получаем и обрабатываем данные в режиме реального времени, соответственно, можем оперативно планировать и производить улучшения. Метрика посильности становится ценным помощником при планировании работы команды улучшений. Например, можно отбирать то, что следует улучшить, исходя из любого удобного горизонта планирования — от «на день вперед» до «на квартал/год вперед». Кроме того, метрика помогает отслеживать эффективность произведенных улучшений, так как мы всегда имеем возможность подсчитать посильность до и после интервенций или улучшений и сравнить результаты. Другими словами, эта метрика стала ценным инструментом для методистов и продактов.
Дельта
На практике могут возникать ситуации, когда нужно посмотреть, как данный студент учится относительно других студентов, или, другими словами, относительно среднего студента. Этот запрос обычно обусловлен растущим интересом к персонализации учебного опыта — настройки обучения не на студентов в среднем и целом, а на конкретного студента. И для этого важно понять, какие учебные трудности испытывает конкретный студент.
Так появилась метрика под названием «дельта», которое говорит само за себя: дельтой обычно обозначается разница между двумя значениями. В нашем случае дельта — это разница между тем, как с заданием справлялись студенты в среднем, и тем, как с ним справляется конкретный студент. Таким образом, дельта представляет собой разность между посильностью задания и супербаллом данного студента по этому заданию.
Дельта — полезный инструмент для настройки обучения на конкретных студентов, так как позволяет определять, каким студентам не давались отдельные задания или целые уроки и темы, и помогать им. Ценность метрики заключается в том, что она позволяет вслед за посильностью уточнить трудности. Если посильность высвечивает трудные элементы контента в целом, то дельта показывает, что даже оптимальные с точки зрения посильности элементы контента могут быть непосильными для отдельных студентов; идентифицирует как студентов, так и конкретные элементы контента. С практической точки зрения дельта может стать инструментом для персонализации. Например, студенты получают различный автоматизированный фидбэк в зависимости от категории дельты в разных разрезах, наставники могут рекомендовать дополнительный материал на основании значений дельты, а студентам с отрицательной дельтой может быть назначен «бадди» из числа студентов с положительной дельтой. Эти приемы сейчас апробируются в Практикуме.
Узнайте больше из книги «Психометрика в EdTech: первые шаги»
Обложка поста — freepik.com
