|
Одной из актуальных педагогических проблем является проблема оценки качества обучения. Современные исследователи связывают её решение с использованием математических методов. В данной работе рассматривается применение NPS-подхода при оценке результатов обучения. Описывается математическая модель, построенная на основе теории вероятности, которая позволяет оценить эффективность обучения.
Ключевые слова: качество обучения, чистый коэффициент лояльности NPS (Net Promoter Score), детрактор, промоутер, нейтрал, доверительный интервал, динамика NPS.
В современных психолого-педагогических исследованиях разрабатываются различные качественные и количественные критерии оценки результатов обучения. В работах, опирающихся на деятельностный подход к обучению, предлагается система качественных параметров формируемой деятельности учащихся. О системности знаний как о важном качественном критерии обучения идет речь в статьях Л.Я. Зориной и З.А. Решетовой. В исследованиях М.Н. Скаткина и В.В. Краевского рассматривается система качества знаний, включающая полноту и глубину, осознанность и прочность, конкретность и обобщенность, системность и систематичность, оперативность и гибкость, свернутость и развернутость. Отмечается, что для формирования каждого параметра необходима специальная система заданий.
Вопросам использования информационных технологий при оценке качества обучения отводится значительное внимание в исследованиях Г.В. Ившиной. Многие авторы отмечают, что наряду с качественными критериями следует вводить и статистические оценки полученных результатов обучения, подтверждающие (или нет) эффективность обучения, его практическую значимость. Использование математических методов позволяет делать аргументированные выводы о качестве обучения,судить о достоверности исследования, эффективности новых моделей обучения, новых педагогических технологий, обосновывать рекомендации по внедрению результатов в практику обучения.
Перспективным направлением в использовании математических методов при оценке результатов обучения является применение NPS-подхода.
Опишем кратко предысторию создания данной методики, которая первоначально связывалась с проблемой измерения удовлетворенности клиентов и с разработкой коэффициента лояльности. Понятие чистого коэффициента лояльности NPS (Net Promoter Score) было введено Ф. Райхельдом.
Автор отмечает, что лояльность клиента является важным фактором успеха компании в бизнесе. Посредством построения тесного взаимодействия между персоналом компании и клиентами удалось сделать успешными многие компании. Результаты исследований показывают, что с успешностью компании в наибольшей степени коррелирует не просто лояльность клиентов, а ответ на единственный вопрос: «Порекомендует ли клиент компанию своим друзьям и знакомым?». Такая рекомендация является наилучшим индикатором лояльности и позволяет рассматривать клиента не просто как лояльного, а активно лояльного.
В зависимости от ответа на ключевой вопрос - вопрос о рекомендации компании — клиенты разбиваются на три группы: детракторы (Detractors) — противники компании, оценившие вероятность рекомендации как очень низкую; промоутеры (Promoters) - клиенты, оценившие вероятность рекомендации как очень высокую; нейтралы (Passives) - пассивные клиенты, оценившие вероятность рекомендации как среднюю. Появляющаяся таким образом шкала называется шкалой чистого индекса промоутеров (Net Promoter Score - NPS). Исследования показывают, что во многих отраслях индустрии (финансовые услуги, телефония, персональные компьютеры, автострахование, провайдеры Интернет-услуг) наблюдается большая степень корреляции между уровнем роста и развития компании и долей промоутеров, т.е. клиентов, активно рекомендующих компанию.
В качестве метрического коэффициента NPS, характеризующего лояльность, традиционно рассматривают разность между долей промоутеров и долей детракторов. Вводится специальная числовая шкала для разделения трех категорий клиентов. В вопросе клиенту предлагается оценить вероятность рекомендации компании своим знакомым по шкале от 0 до 10. При этом, например, клиент, оценивший вероятность рекомендации от 0 до 6 баллов, рассматривается как детрак-тор, от 7 до 8 баллов - как нейтрал, от 9 до 10 баллов - как промоутер.
Коэффициент NPS можно использовать также как внешний показатель положения компании на рынке. Происходит оценка конкурентов и определение места компании относительно рынка в целом и каждого из выбранных конкурентов в частности. Результаты показали, что имеется явное соответствие между NPS и средним уровнем роста компании. Таким образом, из обыкновенного мониторинга NPS превращается в реальный инструмент повышения качества обслуживания клиентов. Примеры использования NPS -подхода в основном относятся к сфере бизнеса, но отмечается, что «предлагаемая система измерения может быть использована самыми разными организациями, начиная со школ, больниц, благотворительных организаций и заканчивая государственными предприятиями и организациями» [5].
Применение NPS подхода к решению проблем в образовательной сфере предполагает модернизацию этого подхода с учетом специфики образовательной системы. В данной статье рассматриваются возможности использования подхода для оценки качества обучения. Построение NPS-технологии начинается с разработки ключевого вопроса. Во-первых, ключевой вопрос составляется в соответствии с целями и задачами обучения, во-вторых, он должен быть достаточно простым и понятным, в-третьих, ответы на него должны допускать возможность интерпретации в терминах некоторой числовой шкалы. Приведем пример ключевого вопроса. В разрабатываемой автором экспериментальной модели обучения высшей математике студентов наукоемких технических направлений для оценки качества обучения и эффективности предлагаемой модели проводится опрос учащихся и его обработка по NPS -технологии. В качестве ключевого вопроса анкеты предлагается следующий: «Порекомендуете ли Вы своим друзьям и знакомым обучение высшей математике на основе системно-деятельностной технологии?». Отдельно предлагается аргументировать свой ответ. При этом в качестве группы опрашиваемых могут выступать как студенты, так и выпускники высшего учебного заведения. Отметим, что опрос может проводиться и среди школьников.
Следующим моментом в разработке NPS -технологии является создание адекватной числовой шкалы и ее интерпретация. Наиболее простым вариантом является использование уже описанной выше шкалы. При этом возникают следующие вопросы. Прежде всего, насколько правильно выбрано разбиение на группы: от 0 до 6 — детракторы, от 7 до 8 — нейтралы, от 9 до 10 -промоутеры? В рамках данной шкалы близкие ответы опрашиваемых часто оказываются в разных группах (например, человек, поставивший при ответе на ключевой вопрос 8 баллов, относится к группе нейтралов, а 9 - уже соответствует промоутерам). Если такая ситуация не устраивает исследователя, то возникает вопрос о «сглаживании» шкалы без изменения ответов и усложнения их интерпретации. Наконец, актуальной задачей является разработка методики оценки надежности результата, получаемого по NPS-технологии. Здесь важно знать, насколько сильно изменится NPS, если к группе опрашиваемых добавить еще несколько человек, насколько большой должна быть группа опрашиваемых, чтобы получить значение NPS с заданной точностью, как можно сравнивать значения NPS, полученные при опросах в различные моменты времени одной и той же категории опрашиваемых, отличающейся, возможно, только численностью.
В целях совершенствования методики использования NPS в педагогических исследованиях потребовалось осуществить некоторую формализацию и построить обобщения.
NPS - это случайная величина, а результат измерения - это оценка этой случайной величины. Введем более строгое, в отличие от традиционного подхода, определение этого коэффициента, связанное с понятием вероятности, а не доли. В качестве генеральной совокупности будем рассматривать множество всех учащихся, задействованных в рассматриваемой модели обучения. Вероятность появления промоутера определяется как отношение числа промоутеров во всей генеральной совокупности к объему всей генеральной совокупности. Аналогично вводится понятие вероятности появления нейтрала и детрактора.
Определение. Коэффициентом NPS будем называть разность между вероятностью появления промоутера и детрактора.
Таким образом, традиционное определение коэффициента NPS как разницы между долей промоутеров и детракторов среди общего количества опрошенных клиентов в рамках данного подхода надо рассматривать как способ получения оценки для коэффициента NPS. Можно показать, что это несмещенная и состоятельная оценка.
Оценку для коэффициента NPS удобно представлять в виде суммы независимых и одинаково распределенных случайных величин. Введем семейство полиномиально распределенных случайных величин, которые определяются равенствами: случайная величина равна единице, если опрошенный клиент — промоутер; соответственно, равна минус единице, если опрошенный клиент — детрактор, и равна нулю, если опрошенный клиент - нейтрал.
Тогда оценка NPS может быть записана как выборочное среднее значение (выборочный момент 1-го порядка) этого семейства полиномиально распределенных случайных величин. Такой взгляд позволяет построить обобщенное понятие NPS. Будем приписывать каждой оценке от 0 до 10, полученной в результате опроса, некоторое число (вес) в промежутке от -1 до 1. Таким образом, традиционный подход, когда оценкам от 0 до 6 соответствует вес «минус единица», оценкам от 7 до 8 — «нуль », а оценкам от 9 до 10 — «единица », является частным случаем. Введение промежуточных весов позволяет сгладить оценочную шкалу, т.е. решить ранее обозначенную проблему. При этом такой подход не усложняет вычисления.
Интерпретация NPS в виде выборочного среднего значения позволяет при анализе и, в частности, при построении доверительного интервала для коэффициента MPS использовать нормальную аппроксимацию для суммы большого числа случайных величин. Отметим, что для большинства практических приложений аппроксимация с помощью нормального распределения приводит к хорошим оценкам. Согласно центральной предельной теореме сумма достаточно большого числа случайных величин, а следовательно, и среднее значение нормально распределены даже тогда, когда слагаемые распределены не нормально. Распределение средних значений случайных выборок хорошо изучено в теории вероятностей. Было доказано, что для любой совокупности с конечным средним квадратическим отклонением распределение выборочного среднего значения стремится к нормальному распределению при увеличении объёма выборки [7].
При анализе NPS в случае конечной генеральной совокупности используются подходы и результаты из работ У. Кокрена и Г. Шварца [8, 9]. Доверительный интервал строится следующим образом. Центр доверительного интервала совпадает с оценкой NPS, а его длина определяется как произведение квадратного корня из выборочной дисперсии, квантили нормального распределения, соответствующей заданной доверительной вероятности, деленное на квадратный корень из объема выборки. В случае конечной генеральной совокупности нужно еще ввести корректирующий множитель, определяемый по доле выборки.
На основе вышеизложенного предлагается следующий алгоритм обработки результатов анкетирования по ключевому вопросу:
1) тип опрашиваемого субъекта (промоутеры, нейтралы, детракторы);
2) уровень рекомендации (балльная шкала от 0 до 10);
3) распределение опрошенных в зависимости от ответа по категориям (детракторы, нейтралы и промоутеры) во времени по результатам нескольких опросов (например, по неделям, семестрам, курсам);
4) доля промоутеров, нейтралов, детракторов;
5) оценка NPS;
6) точность;
7) нижняя граница доверительного интервала NPS;
8) верхняя граница доверительного интервала NPS;
9) динамика NPS (рост или падение, например, по неделям, семестрам, курсам);
10) рекомендации (коррекция обучения, аргументация эффективности модели обучения).
Обычно проведение статистических опросов и их последующая обработка занимают много времени и являются дорогостоящим мероприятием. Применение NPS -технологии существенно экономит ресурсы. Программа вычисления NPS и границ доверительного интервала достаточно проста, а результатом ее выполнения является описание динамики NPS. Именно изменения данного коэффициента позволяют связать количественные данные о результатах обучения с его качественными характеристиками, быстро оценить ситуацию и внести коррективы. Фактически данная технология позволяет проводить оценку качества обучения в режиме реального времени. Применение NPS -технологии к оценке результатов обучения существенно снижает уровень субъективности, активизирует контрольно-коррекционную функцию, дает наглядную картину продуктивности обучения и решает вопрос «обратной связи».
По материалам журнала "Высшее образование в России"
|
