Пилотный запуск — это своего рода тест-драйв курса. Он помогает определить качество тренинга, устранить ошибки и сделать контент максимально полезным для сотрудников.

О том, с чего начать пилотный запуск, кого включить в фокус-группу и как обработать результаты, читайте в материале эксперта eLearning, сооснователя Corporate e-Learning Club Марины Литвиновой.

Марина Литвинова

Марина Литвинова,
сооснователь Corporate
e-Learning Club

В разработке электронных курсов есть один важный этап, которым в корпоративном eLearning часто пренебрегают — пилотный запуск курса.

Большинство электронных тренингов в компании нацелены на обучение, которое было нужно еще вчера: вышел новый продукт, обновилось
программное обеспечение, изменились условия обслуживания.

Чтобы заполнить пробел в знаниях, курс нередко запускают сразу после разработки, без предварительного тестирования на фокус-группе и последующих корректировок.

С одной стороны, это экономит время, с другой — снижает эффективность электронного тренинга. Всплывают ошибки и неточности в тексте, происходят технические сбои. В итоге сотрудники неохотно тратят время на «грязный» курс, а репутация дистанционного обучения падает.

Пилотный запуск — это генеральная репетиция перед большим стартом. Вместо того, чтобы сразу начинать обучение, вы тестируете курс на маленькой группе, которая даст объективную обратную связь, поможет улучшить курс и не допустить критических ошибок в процессе обучения.

Провести качественный «пилотаж» можно в четыре шага.

Шаг 1. Определите цели пилотного запуска

Цели могут варьироваться от компании к компании, но, как правило, четыре основных неизменны:

  1. Получить ответ на вопрос «чему вы научились».
  2. Найти ошибки в курсе: опечатки, смысловые неточности в тексте, технические неполадки (на слайдах не работает кнопка Далее, например).
  3. Оценить «комфортность обучения»: не перегружен ли курс материалом, все ли понятно ученикам, насколько сложными оказались практические задания.
  4. Отредактировать курс на основе обратной связи.

Шаг 2. Сформируйте состав фокус-группы

В состав фокус-группы могут войти две категории «тестеров»:

Представители целевой аудитории (ЦА), для которой вы разработали курс. Они скажут, все ли понятно в тренинге, какие задания показались слишком сложными и т.д.

Эксперты из сферы eLearning и методологи. Они заглянут «под капот» и оценят курс с точки зрения педагогического дизайна.

Подробнее о том, что такое педагогический дизайн, вы можете узнать в этом материале.

Если курс сверстал на заказ профессиональный разработчик и вы не сомневаетесь в его навыках, то к «пилотажу» достаточно подключить лишь представителей ЦА.

Внимательно отнеситесь к тому, кому отдаете курс на проверку. Если, к примеру, вы тестируете электронный тренинг по основам техники продаж, то оценивать его должны новички, а не опытные сотрудники. Иначе выводы будут необъективны. У профи курс стартового уровня не вызовет никаких сложностей, а новичок за время обучения может не раз «споткнуться».

Шаг 3. Создайте анкету обратной связи и запустите тестирование

Участникам фокус-группы анкета обратной связи поможет структурировать информацию, а вам — быстро ее обработать.

Важно: анкета для тест-драйва курса существенно отличается от той, которую обычно создают для основной группы обучения. В чем отличия? Анкета пилотного запуска детальнее, список вопросов шире.

Тестировщики морально готовы ответить на несколько десятков «как», «зачем» и «почему». Но предложите в финале обучения заполнить такую же анкету основной группе студентов — и вы вряд ли увидите энтузиазм в их глазах.

Цель анкеты для «пилотажа» — обнаружить ошибки и баги в курсе. Это могут быть элементарные опечатки, устаревшая информация или неработающие ссылки.

Анкету можно создать в виде таблицы в Word- или Excel-документе. В дальнейшем ее лучше загрузить в систему дистанционного обучения (СДО), в которой фокус-группа будет тестировать курс.

Подробнее о том, как работает система дистанционного обучения, вы можете узнать в этом материале.

Большинство СДО могут самостоятельно проанализировать результаты тестирования и выгрузить статистику. Тогда останется больше времени на анализ результатов. В противном случае придется обрабатывать данные вручную.

Что входит в анкету обратной связи

Анкета должна быть максимально подробной, иначе ошибки и непонятные требования, о которых ничего нет в опроснике, фокус-группа может просто не указать.

Вид анкеты может немного меняться в зависимости от типа курса: слайдовый, игровой, видеокурс, тренажер. И все же есть несколько универсальных вопросов.

В анкете обычно восемь критериев оценки:

  1. Наполнение курса. Тестируемые отмечают, удобен ли курс для чтения, понятна ли вся информация, есть ли ошибки и опечатки.
  2. Технические особенности. Здесь указывают, как быстро загружается курс, корректно ли отображается в браузере, открываются ли все ссылки, видео, работают ли тесты.
  3. Удобство и комфортность. Тестируемые указывают, «не сбоит» ли навигация, не перегружен ли курс информацией и т.д.
  4. Интенсивность обучения. Разбит ли курс на удобные разделы? Материал представлен понятно и логично? Легко ли проходить тренинг без отрыва от работы и т.д.
  5. Практические задания. Тестируемые указывают, работает ли обратная связь в тренажерах, насколько реалистичны задания, есть ли очень сложные вопросы.
  6. Оформление курса. Здесь оценивают дизайн тренинга: цвета, шрифты, фоны, контрастность и т.д.
  7. Запоминаемость новой информации. В конце каждого раздела курса есть выводы? Скачивается краткая инструкция по курсу?
  8. Общее впечатление от курса. Тестируемые отмечают, насколько интересным был сюжет, хотелось ли продолжить обучение после первых слайдов и т.д.

Важно также узнать о результатах обучения. Чему вы научились после прохождения курса? Ответ определит пользу и эффективность тренинга.

Возможно, этот вопрос кажется вам лишним. Однако это не так. В корпоративном eLearning все еще существует множество курсов, которые не учат ничему конкретному:

  • курсы «для ознакомления»;
  • сборники нормативных документов, разбитых по слайдам;
  • эффектные, но бесполезные интерактивные презентации.

Это плохие курсы. После хороших слушатели обретают новые навыки: быстрее печатают на клавиатуре или работают в Outlook, могут оказать первую помощь и т.д. Поэтому спросить, чему слушатели научились, необходимо.

Этот вопрос стоит сделать открытым, чтобы фокус-группа сама сформулировала ответ. Это поможет объективно оценить курс с точки зрения педагогического дизайна: верно ли поставлена цель обучения, выбрана целевая аудитория, определены потребности в знаниях.

Спросите у пилотной группы, что конкретно они могут сделать после изучения курса. Если с курсом все «ок», то ответы будут выглядеть примерно так:

Иллюстрация 1 v8

Все эти ответы детальны и конкретны. Они доказывают, что слушатель действительно вооружился новыми знаниями. Также это говорит о пользе практических заданий, которые помогли отработать новые навыки (например, кейсы на подбор продукта для клиента, диалоговые тренажеры, калькулятор расчета процентов по депозиту).

Ответы, которые подскажут, что с курсом надо еще поработать:

Иллюстрация 2 v7

Видите — в них нет конкретики. Слушатель не научился делать что-то новое. Значит, цели курса расплывчаты, а разработчик не понял, какого результата ждать на выходе.

Ошибки при анализе ЦА, перегруз теорией, минимум практики — тоже могут быть причинами низкого качества курса.

Скачать шаблон анкеты обратной связи вы можете здесь.

Когда анкета составлена, на очереди бета-тестирование. Оно должно быть максимально приближено к реальному: загрузите анкету обратной связи в СДО, назначьте курс фокус-группе, отправьте участникам смс-напоминание о скором тест-драйве, а после соберите результаты «пилотажа».

Шаг 4. Исправьте ошибки в курсе по результатам анкет обратной связи

Ошибки и опечатки в тексте или неработающие ссылки ошибки исправить легко. Но иногда курс приходится переделывать едва ли не полностью. К примеру, слушатели ничему не научились, или пользователей раздражает сюжетная линия в курсе.

Профилактику таких ошибок лучше провести на этапе разработки:

  • Тщательно проектируйте курс по правилам педагогического дизайна. Оцените потребность в обучении, изучите целевую аудиторию, сформулируйте цели курса, напишите сценарий, соберите и оформите контент по требованиям юзабилити.
  • Определите инструмент обучения. Возможно, для решения бизнес-задачи больше подойдет не электронный курс, а диалоговый тренажер, видеоурок или вебинар.
  • Выстройте четкую траекторию обучения. Теория плавно перетекает в практику: тест или диалоговый тренажер. Все блоки в курсе должны быть логически согласованы.

Критерии хорошей пилотной оценки: есть конкретные ответы на вопрос «Чему вы научились после прохождения курса?», общий балл по пунктам анкеты со второго по девятый близок к 100%.

Запомнить

  1. Цель пилотного запуска — провести диагностику курса, найти и устранить ошибки.
  2. Оптимальный состав фокус-группы — 10-15 человек. Это представители ЦА. Экспертов из сферы eLearning достаточно двух.
  3. Анкета обратной связи поможет тестировщикам дать детальные, сфокусированные ответы, а вам — быстро их обработать.
  4. После «пилотажа» на очереди редактура. Даже если многое приходится переделать, не расстраивайтесь. Главная задача — выпустить качественный контент.
  5. Чтобы курс был полезным, проектируйте его по правилам педагогического дизайна: потребность в обучении, целевая аудитория, цели, сценарий и т.д.