Как протестировать обучение и оценить его эффективность
В этом блоке:
- из каких элементов складывается качество курса;
- почему важно предварительно тестировать обучение;
- какую собирать информацию и обратную связь от тестовой аудитории;
- как улучшать контент на основе полученной информации.
Программы редко получаются идеальными сразу. Важно сохранять итеративность и получать обратную связь от слушателей. Поэтому перед тем, как запускать курс, его стоит протестировать. А после запуска — оценить эффективность обучения.
Почему важно протестировать обучение до запуска
К этому этапу работы над курсом уже сделано многое. Вспомним пройденные шаги:
Контент готов. Что происходит дальше? Представьте, что после сборки контента вы запускаете свой образовательный продукт на всю целевую аудиторию и получаете первые отзывы: тут написано непонятным языком, тут не работает ссылка, а вот этот блок вообще нерелевантен для целевой аудитории. Можем вас успокоить: такое случается у всех авторов.
Тем не менее, есть способ проверить контент на очевидные ошибки до официального запуска — это тестирование качества программы. Тестирование контента поможет собрать первую обратную связь от учащихся, чтобы отловить и устранить «баги»: нарушенную логику в объяснении, непонятные примеры, неправильно определённое время на изучение, опечатки и неработающие ссылки. Если речь о проведении живых занятий, то тестирование поможет потренироваться и понять, что улучшит ваш преподавательский опыт.
В идеале в тестировании надо максимально полно воспроизвести опыт обучения, который аудитория получит уже при официальном запуске. Тогда мы сможем полноценно проанализировать учебный опыт участников.
После тестирования и правок можно официально запускать курс. После завершения обучения (лучше спустя некоторое время) оцениваем, получилось ли достичь целей.
Если ваш курс будет запускаться и изучаться неоднократно, то после запуска его ещё можно будет совершенствовать, если у вас и у компании будет возможность. Чем больше обратной связи и данных о результатах программы мы получаем, тем лучше мы можем проработать содержание и форматы, чтобы прийти к поставленным целям проекта.
Тем не менее, есть способ проверить контент на очевидные ошибки до официального запуска — это тестирование качества программы. Тестирование контента поможет собрать первую обратную связь от учащихся, чтобы отловить и устранить «баги»: нарушенную логику в объяснении, непонятные примеры, неправильно определённое время на изучение, опечатки и неработающие ссылки. Если речь о проведении живых занятий, то тестирование поможет потренироваться и понять, что улучшит ваш преподавательский опыт.
В идеале в тестировании надо максимально полно воспроизвести опыт обучения, который аудитория получит уже при официальном запуске. Тогда мы сможем полноценно проанализировать учебный опыт участников.
После тестирования и правок можно официально запускать курс. После завершения обучения (лучше спустя некоторое время) оцениваем, получилось ли достичь целей.
Если ваш курс будет запускаться и изучаться неоднократно, то после запуска его ещё можно будет совершенствовать, если у вас и у компании будет возможность. Чем больше обратной связи и данных о результатах программы мы получаем, тем лучше мы можем проработать содержание и форматы, чтобы прийти к поставленным целям проекта.
Что такое «качество курса»
Если говорить просто, то качественный курс или материал — это тот, который приводит к задуманным целям.
После обучения надо понять, смогли ли мы сдвинуть участников с «как есть» и довести до «как нужно». Ответы мы можем собирать уже по итогам тестового прогона, если он был приближен к реальности по условиям и аудитории.
Заодно стоит собирать информацию об учебном опыте и самом контенте, чтобы разобраться, что помогло или стало барьером к достижению этого «как нужно».
В итоге получаем несколько уровней показателей. Нажимайте на +, чтобы увидеть подробную информацию.
После обучения надо понять, смогли ли мы сдвинуть участников с «как есть» и довести до «как нужно». Ответы мы можем собирать уже по итогам тестового прогона, если он был приближен к реальности по условиям и аудитории.
Заодно стоит собирать информацию об учебном опыте и самом контенте, чтобы разобраться, что помогло или стало барьером к достижению этого «как нужно».
В итоге получаем несколько уровней показателей. Нажимайте на +, чтобы увидеть подробную информацию.
Показатели:
- Посещаемость, если проводим синхронные встречи.
- Доходимость или дочитываемость, т. е. какой процент учащихся завершил курс или материал.
- Другие метрики, доступные на обучающих платформах (например, длительность просмотра роликов или чтения текстов, карта кликов, автоматический мониторинг вовлечённости на онлайн-занятиях и другие).
Сбор мнений участников — один из самых распространённых методов оценки качества курсов и материалов. С точки зрения человекоцентричного образования, это действительно важно и позволяет дополнить и углубить объективные данные.
Показатели:
Показатели:
- Уровень удовлетворённости. Спрашиваем участников, насколько им в целом понравилось занятие/урок/материал, например, по 5-балльной шкале от «Разочаровало» до «Супер».
- NPS (Net Promoter Score). Знакомый всем вопрос: «Порекомендовали ли бы вы этот продукт коллегам?». Про курс можно спрашивать так же.
- Оценка качества контента и образовательного опыта: темпа занятия, соотношения теории и практики, атмосферы, понятности объяснений, применимости. Можно также использовать 5 или 10-балльную шкалу.
Измеряется проверочными заданиями курса, которые проводятся в течение обучения и в конце.
Применяют ли сотрудники полученные знания и навыки на рабочем месте? Измеряется с помощью оценки производительности, например, анализа выполнения KPI, обратной связи 360, ассессмент-центров. Это зона интереса руководителей отделов. На этом этапе эксперт-преподаватель часто уже не участвует.
Это могут быть выручка, клиентский NPS (индекс лояльности клиента) и LTV (прибыль, полученная от клиента за всё время), время закрытия сделки и так далее. Это тот показатель, на который мы ориентировались как на целевой в начале проектирования обучения.
Оценить это всё полноценно можно уже после проведения программы, а ещё лучше — после нескольких запусков. В любом случае, перед тем как запускать программу официально, стоит «прощупать почву», проверить, всё ли мы подготовили и учли для достижения главной цели — цели бизнеса.
Оценить это всё полноценно можно уже после проведения программы, а ещё лучше — после нескольких запусков. В любом случае, перед тем как запускать программу официально, стоит «прощупать почву», проверить, всё ли мы подготовили и учли для достижения главной цели — цели бизнеса.
Теоретически благодаря тестированию можно замерить все 5 уровней показателей. Но на практике в первую очередь смотрят на уровни 1–3, потому что качественное измерение 4 и 5 уровней возможно только спустя время. А вот контент и учебный опыт можно оценить «здесь и сейчас».
Чтобы не упустить важные элементы образовательного опыта, попробуйте представить «путь студента»: какие шаги он проходит до, во время и после изучения контента. Посмотрим на типовой путь участника корпоративного воркшопа.
Предлагаем вам примеры, какую обратную связь об учебном опыте на каждом этапе вы могли бы запросить у участника:
- Насколько удобно было получить доступ к материалу?
- Понятны ли были инструкции по изучению?
- Насколько был удобен формат и объём материала?
- Было ли всё в материале понятно объяснено? Если нет, как можно улучшить объяснения?
- Что понравилось и чего не хватило в материале?
- Насколько ожидания от материала / занятия совпали с реальностью, а какие нет?
- Насколько удобно было работать в сервисе видеоконференции? Что можно улучшить?
- Удобна ли длительность воркшопа? Если нет, как стоит её скорректировать?
- Получилось ли выполнить домашнее задание? Если нет, почему?
- Сколько времени ушло на изучение материала / выполнение задания?
- Удалось ли применить знание в реальной работе? Если да, то в каких случаях? Если нет, то почему?
Как проводить тестирование курса
Как только готовы все материалы, рекомендуем как можно быстрее показывать их тестовой аудитории. Взаимодействие с другими поможет найти гораздо больше идей по доработкам, чем самостоятельные размышления.
Тестовая аудитория может быть разной. От каждой из них можно получить разные виды полезной обратной связи:
1. Выборка из реальных будущих учащихся или аудитория, схожая по опыту и потребностям. Это идеальный вариант: от такой аудитории мы, вероятнее всего, получим тот же отклик, который получили бы при реальном запуске. Можно запрашивать обратную связь практически по всем возможным критериям: понятность контента, уровень сложности, форматы, задания, удобство навигации и другое. Тестово можно провести и одно занятие, и целый курс.
2. Коллеги-эксперты. Прогон с экспертами поможет собрать идеи и кейсы, чтобы углубить и расширить ваш контент. Коллеги по предметной области смогут подсветить, с помощью каких примеров понятнее объяснить теорию, где добавить актуальных инструментов.
3. Коллеги, не погружённые в предмет. Они смогут подсветить точки роста по подаче, формулировкам, форматам, дизайну и удобству навигации по материалам.
4. Для синхронных занятий — самостоятельный прогон с видеозаписью. Если вдруг нет времени или возможности привлечь других, попробуйте записать выступление самостоятельно. Это всё равно поможет увидеть, всё ли готово из запланированного, есть ли места, где ещё стоит добавить пару слайдов или заданий. Такой вариант поможет запомнить и уложить свой контент в голове. Важно: прогонять контент стоит буквально так, как вы бы делали это на занятии.
Тестовая аудитория может быть разной. От каждой из них можно получить разные виды полезной обратной связи:
1. Выборка из реальных будущих учащихся или аудитория, схожая по опыту и потребностям. Это идеальный вариант: от такой аудитории мы, вероятнее всего, получим тот же отклик, который получили бы при реальном запуске. Можно запрашивать обратную связь практически по всем возможным критериям: понятность контента, уровень сложности, форматы, задания, удобство навигации и другое. Тестово можно провести и одно занятие, и целый курс.
2. Коллеги-эксперты. Прогон с экспертами поможет собрать идеи и кейсы, чтобы углубить и расширить ваш контент. Коллеги по предметной области смогут подсветить, с помощью каких примеров понятнее объяснить теорию, где добавить актуальных инструментов.
3. Коллеги, не погружённые в предмет. Они смогут подсветить точки роста по подаче, формулировкам, форматам, дизайну и удобству навигации по материалам.
4. Для синхронных занятий — самостоятельный прогон с видеозаписью. Если вдруг нет времени или возможности привлечь других, попробуйте записать выступление самостоятельно. Это всё равно поможет увидеть, всё ли готово из запланированного, есть ли места, где ещё стоит добавить пару слайдов или заданий. Такой вариант поможет запомнить и уложить свой контент в голове. Важно: прогонять контент стоит буквально так, как вы бы делали это на занятии.
Коммуникация с тестовыми участниками
Тестовые участники, слушатели или читатели вашего контента должны ясно понимать свою роль. Для этого в подводке к контенту — будь то занятие или статья — проговорите, что и в каком формате вы от них ожидаете получить, и как это вам поможет.
К примеру, в начале занятия можно использовать такие формулировки: «Спасибо, что присоединились к тесту занятия! Ваша обратная связь очень поможет мне улучшить контент. В первую очередь прошу вас сфокусироваться на структуре и примерах. Будет отлично, если вы будете записывать себе или присылать в чат все вопросы и идеи. В конце можно будет остаться и обсудить ваши комментарии».
Если вы собираете отзывы в формате анкеты, напишите аналогичную подводку.
Чтобы больше людей оставило обратную связь (и при тестовом, и при реальном запуске), попробуйте использовать более неформальное обращение и эмоции.
К примеру, в начале занятия можно использовать такие формулировки: «Спасибо, что присоединились к тесту занятия! Ваша обратная связь очень поможет мне улучшить контент. В первую очередь прошу вас сфокусироваться на структуре и примерах. Будет отлично, если вы будете записывать себе или присылать в чат все вопросы и идеи. В конце можно будет остаться и обсудить ваши комментарии».
Если вы собираете отзывы в формате анкеты, напишите аналогичную подводку.
Чтобы больше людей оставило обратную связь (и при тестовом, и при реальном запуске), попробуйте использовать более неформальное обращение и эмоции.
Методы сбора обратной связи
Собирать обратную связь и результаты программы можно разными методами и в разное время.
Вариант 1. Анкетирование
Вариант 2. Данные на обучающих платформах
Вариант 3. Интервью
О том, как проводить анкетирование и интервью, можно посмотреть подробнее в Блоке 3 об исследовании аудитории.
Добавим, что опросы и интервью, проведённые не сразу, а через некоторое время после обучения, с точки зрения измерения эффективности программы — самые важные. Дело в том, что собирая отзывы после занятия, мы фиксируем настроение аудитории, её первый отклик. Это важно, но в этот момент новая информация ещё не успела толком уложиться в голове, а навыки ещё точно не были применены в реальной жизни. А вот опрашивая аудиторию спустя 1–2 месяца, мы уже сможем узнать, как реально применяются знания и навыки в жизни.
Вариант 1. Анкетирование
- Когда: в конце тестирования курса или занятия
- Оптимальное количество вопросов: про занятие — не более 5, про курс — не более 20. Открытые вопросы оставляем опциональными.
- Используйте специальные сервисы для сбора анкет, чтобы было удобно выгружать все данные (например, Яндекс.Формы)
Вариант 2. Данные на обучающих платформах
- Оценка материала после его завершения
- Комментарии и отзывы
Вариант 3. Интервью
- Подходит для получения развёрнутых ответов на открытые вопросы
- Лучше проводить после серии занятий или целого курса
- Можно сочетать с анкетированием и данными с платформы
О том, как проводить анкетирование и интервью, можно посмотреть подробнее в Блоке 3 об исследовании аудитории.
Добавим, что опросы и интервью, проведённые не сразу, а через некоторое время после обучения, с точки зрения измерения эффективности программы — самые важные. Дело в том, что собирая отзывы после занятия, мы фиксируем настроение аудитории, её первый отклик. Это важно, но в этот момент новая информация ещё не успела толком уложиться в голове, а навыки ещё точно не были применены в реальной жизни. А вот опрашивая аудиторию спустя 1–2 месяца, мы уже сможем узнать, как реально применяются знания и навыки в жизни.
Как анализировать результаты и что делать дальше
Как и с результатами исследования ЦА, с обратной связью и результатами программы мы предлагаем сделать три шага:
Упорядочить данные
В процессе изучения результатов попробуйте сразу распределить их по критериям и блокам. Группировать информацию удобно на виртуальной доске или в таблице. Мы подготовили для вас шаблон во вкладке «Блок 5. Анализ ОС»:
Сделать выводы
Выделите информацию, которая вам кажется критичной для улучшения курса. Составьте список необходимых доработок — для него мы подготовили шаблон в следующей вкладке таблицы — «Блок 5.1. Правки».
Доработать
По каждой правке и доработке зафиксируйте, кто и как будет её вносить, нужны ли для этого какие-то дополнительные ресурсы. Отметьте, к какому сроку должна быть сделана правка.
В процессе изучения результатов попробуйте сразу распределить их по критериям и блокам. Группировать информацию удобно на виртуальной доске или в таблице. Мы подготовили для вас шаблон во вкладке «Блок 5. Анализ ОС»:
Сделать выводы
Выделите информацию, которая вам кажется критичной для улучшения курса. Составьте список необходимых доработок — для него мы подготовили шаблон в следующей вкладке таблицы — «Блок 5.1. Правки».
Доработать
По каждой правке и доработке зафиксируйте, кто и как будет её вносить, нужны ли для этого какие-то дополнительные ресурсы. Отметьте, к какому сроку должна быть сделана правка.
Подведём итоги:
- Вы узнали, как измерить качество курса на каждом из уровней.
- Вы узнали, как проводить тестирование курса до масштабного запуска.
- Вы вспомнили методы сбора обратной связи от аудитории.
- Вы поняли, как эффективно использовать собранную информацию для улучшения курса.
