Использование комплексной адаптивной системы оценки в США: эффективность подхода «Оплата по результатам»

Настоящая статья посвящена опыту внедрения программы «Фонд поощрения учителей» (Teacher Incentive Fund, TIF), предполагающей схему оплаты работы учителя «по результатам» в ряде штатов США, и проблеме оценки эффективности этой программы. Программа, направленная на внедрение инновационных систем оценки работы учителя, была предложена в 2006 году, и в 2016 году13 претендентов в разных частях страны получили 70 миллионов долларов на внедрение такой программы сроком на пять лет.

Авторы исследования предлагают комплексную адаптивную систему оценки (Complex Adaptive System, CAS) в качестве одного из инструментов обеспечения «прозрачности» оценивания внедрения подобных программ.

В качестве кейса в исследовании описываются три школы, которые находятся в неблагополучных районах штата Калифорния и которые получили финансирование по программе TIF.

Внедрение программы в каждой из школ заняло около трех лет. В оценке процесса внедрения программы в школах участвовала команда экспертов, основной задачей которой было оценить и совместить цели первичного грантополучателя (некоммерческой организации, получившей и распределявшей средства гранта),желающего в качестве результата получить эффективную систему оценки работы учителя, увязанную с повышением уровня учебных достижений обучающихся, и вторичного грантополучателя (руководство образовательной организации),основная цель которого– наградить учителей за хорошую работу и получить эффективную обратную связь о качестве  преподавания.

Комплексная адаптивная система оценки включала три раунда обследования, в ходе которых было выявлено следующее:

  • школы, получившие гранты по программе TIF, восприняли их как возможность привлечения средств для повышения зарплату учителям;
  • учителя восприняли вознаграждение как признание качества их ежедневной работы по улучшению успеваемости учащихся (процессуальная составляющая), а не как выплату, направленную на повышение уровня учебных достижений обучающихся (результативная составляющая);
  • все три школы получили сумму гранта единовременным платежом в самом начале проекта, и существенная часть суммы сразу же была потрачена на статьи расходов, на которые не хватало финансирования штата (в т.ч. рекрутинг высококвалифицированного персонала и переоснащение школы);
  • по результатам первого раунда оценки внедрения программы выяснилось, что ни одна из школ не обладает профессиональной системой обработки данных, и на внедрение такой системы у школы средств нет;
  • первый год внедрения программы, предполагающий оценку работы учителей, выявил, что только 61% из всего состава участников получили достаточный балл, позволяющий претендовать на дополнительную выплату;
  • на второй год программы негативное отношение к новой системе выплат изменило отношение ко всему процессу участия, что привело к выбыванию из программы учителей и снижению общих показателей школы в аспекте качества преподавания;
  • полученная в ходе внедрения программы обратная связь о качестве преподавания, которая стала доступной участникам в ходе комплексной адаптивной системы оценки, оказалась полезной для значительного количества учителей и помогла им повысить уровень ожиданий от результатов собственной работы.

Подводя итоги, авторы обращают внимание на то, что цель программы TIF не была достигнута, а ожидания от результатов программы к моменту ее завершения частично утратили смысл. Однако выявить причины проблем, возникших в ходе реализации программы, а также донести их до лидеров образовательных организаций помогла грамотно выстроенная и эффективная система оценки (CAS). В дополнение к описанной практике в исследовании дается обзор шести масштабных программ, внедрявшихся в США в период с 2009г. До 2015г. с целью повышения результативности работы школ. Логика всех рассматриваемых программ предполагала совершенствование методов преподавания и обязательную систему вознаграждения за достижение высоких результатов в преподавании, где в качестве основного индикатора достижения «высокого результата» выступало повышение академической успеваемости учащихся. Согласно данным исследования ни одна программа, внедренная на практике, не привела к результатам, заявленным в ее целях: ни в аспекте повышения уровня учебных достижений обучающихся, ни в аспекте мотивации учительского корпуса.

Авторы исследования говорят о важности такой системы оценки эффективности программ, которая давала бы возможность учесть требования всех заинтересованных сторон.

Материал опубликован в 2018 году в одном из ведущих рецензируемых научных изданий «Educational Assessment, Evaluation and Accountability» и будет интересен как исследователям, так и руководителям системы образования.

Источник: Mintrop, R., Pryor, L., Ordenes, M. A complex adaptive system approach to evaluation: application to a pay-for-performance program in the USA, Educational Assessment, Evaluation and Accountability. V. 30(3), 2018. Рр.285-312. – режим доступа: URL: https://link.springer.com/article/10.1007/s11092-018-9276-6

Другие материалы
В Новосибирске прошел двухдневный экспертно-аналитический семинар по вопросам введения модели аттестации педагогических работников

В Новосибирске прошел двухдневный экспертно-аналитический семинар по вопросам введения модели аттестации педагогических работников

В Московской области состоялся двухдневный экспертно-аналитический семинар по вопросам введения модели аттестации педагогических работников

В Московской области состоялся двухдневный экспертно-аналитический семинар по вопросам введения модели аттестации педагогических работников

Всероссийский форум по вопросам внедрения модели аттестации педагогических работников с использованием единых федеральных оценочных материалов по четырем компетенциям (предметным, методическим, психолого-педагогическим, коммуникативным)

Всероссийский форум по вопросам внедрения модели аттестации педагогических работников с использованием единых федеральных оценочных материалов по четырем компетенциям (предметным, методическим, психолого-педагогическим, коммуникативным)

В Санкт-Петербурге прошел двухдневный экспертно-аналитический семинар по вопросам введения модели аттестации педагогических работников

В Санкт-Петербурге прошел двухдневный экспертно-аналитический семинар по вопросам введения модели аттестации педагогических работников