Занятие 5. Измерение в масштабе, правила остановки и записка о масштабировании

Не ждите, что результат пилота повторится

• Результаты часто меняются, когда практика уходит от автора: обычные учителя, более тонкая поддержка, более трудные школы. Банерджи и коллеги описывают, как первые версии «Обучения на нужном уровне» не давали эффекта в обычной государственной системе, а повторные испытания и переработка дали две версии, повысившие обучение в масштабе.
• Поэтому измеряйте в каждом кольце, а не только в конце. Важны пять вещей: ОХВАТ (сколько классов), ВЕРНОСТЬ (увиденные ключевые действия), РЕЗУЛЬТАТЫ относительно исходного уровня, РАВЕНСТВО (результаты по типам школ) и СТОИМОСТЬ на ученика. Если измерять только результаты, нельзя понять, слаба идея или её реализация.
• Используйте одну и ту же простую меру во всех школах (например, одно и то же итоговое задание раздела с одним ключом) и записывайте как числа, например 9 из 30 учеников, а не только проценты. В малых школах мало учеников, один ученик сильно двигает процент; скажите об этом.

Читайте разброс, а не только среднее

• Средний прирост по 12 школам может скрывать три школы без прироста. Перечислите каждую школу: тип, ученики, верно до и после, увиденные ключевые действия из пяти. Затем сгруппируйте по верности и приросту и спросите, что нужно каждой группе.
• Четыре группы: ВЫСОКАЯ верность и хороший прирост: УЧИТЬСЯ у них. Высокая верность и малый прирост: ПЕРЕОСМЫСЛИТЬ идею или меру. НИЗКАЯ верность и хороший прирост: ПРОВЕРИТЬ, что ещё помогло. Низкая верность и малый прирост: исправить ПОДДЕРЖКУ. Считайте это подсказками; без группы сравнения причину не доказать.
• Дешёвое и более честное сравнение: если школы стартуют двумя волнами, школы, стартующие в следующей четверти, могут быть сравнением для этой, при условии что они похожи и вы называете различия. Всегда сообщайте результаты отдельно для села и города, малых и больших школ и по языку обучения.

Правила остановки, написанные до запуска

• Курс 14.5 научил вас списку прекращения и красным линиям для пилота. В масштабе нужны правила для всей программы, написанные до запуска, пока никто не привязан эмоционально: триггеры с числами, действие (ПАУЗА, КОРРЕКТИРОВКА или ОСТАНОВКА) и кто решает. Письменные правила делают остановку запланированным решением, а не поражением.
• Пять типичных триггеров: (1) вред ученику или нарушенное согласие: ОСТАНОВИТЬ сразу; (2) ключевые действия видны менее чем в половине классов после двух циклов, несмотря на сопровождение: ПРИОСТАНОВИТЬ расширение и исправить поддержку; (3) нет прироста в большинстве школ при хорошей верности после двух циклов: ОСТАНОВИТЬ масштабирование и вернуться к пилоту; (4) стоимость на ученика выше согласованного предела или нет плательщика на 3-й год: КОРРЕКТИРОВАТЬ или остановить; (5) разрыв между типами школ растёт: ПРИОСТАНОВИТЬ и добавить поддержку.
• Если останавливаете, останавливайте хорошо: сообщите школам и поблагодарите, сохраните и поделитесь тем, что сработало, архивируйте материалы и выводы и освободите часы для другого. Программа, закончившаяся честно, оставляет учителей более готовыми попробовать следующую идею.

Записка о масштабировании: одна страница для решения

• Записка о масштабировании собирает весь курс на одной странице: практику и её ЯДРО; данные и их ограничения; кольца и МОДЕЛЬ; поддержку и ТРЁХЛЕТНЮЮ СТОИМОСТЬ с плательщиком на 3-й год; РАВЕНСТВО (барьеры и адаптации); УПРАВЛЕНИЕ (владелец и права решений); ПОКАЗАТЕЛИ с порогами; ПРАВИЛА ОСТАНОВКИ; и запрашиваемое РЕШЕНИЕ.
• Сохраните привычки из курса 14.5: начинайте с решения, давайте числа с ограничениями, говорите «указывает», а не «доказывает», и называйте коллег. Добавьте новое для масштаба: результаты по типам школ, чего вы ПОКА НЕ знаете и что заставило бы вас остановиться.
• Просите поэтапное решение, а не чек без суммы: одобрить кольцо 2 на одну четверть с указанными порогами и встретиться снова для решения по кольцу 3. Поэтапные решения легче одобрить и легче отменить, и они держат данные в ногу с расходами.

Мера, которую школы могут сравнивать

Выберите одно задание для всей сети: то же итоговое задание раздела, тот же ключ проверки и тот же срок в каждой школе. Снимите исходный уровень до начала практики. Записывайте числа, например 11 из 30 учеников верно, потому что в малых школах проценты скачут. Добавьте балансирующий показатель из курса 14.5, например время урока или уверенность учеников, чтобы прирост не покупался скрытой ценой.

Чтобы проверка была честной, проведите простую модерацию: каждая школа присылает 10 анонимных работ, два учителя из разных школ проверяют их по ключу, и расхождения обсуждаются. Это стоит нескольких часов и защищает всю программу от сомнения, что одна школа ставила щедро. Не используйте результаты для ранжирования учителей; используйте их, чтобы решить, куда направить помощь.

Когда результаты разочаровывают: диагностика до решения

У слабого результата может быть несколько причин, и каждая ведёт к своему действию. Спрашивайте по порядку: была ли практика проведена (увиденные ключевые действия)? Измерен ли результат честно (то же задание и ключ)? Отличался ли контекст (новое расписание, много пропусков)? Слаба ли сама идея или поддержка тонка? Только после этих вопросов следует решение: продолжить, скорректировать, приостановить или остановить.

Исследование «Обучения на нужном уровне» в государственных школах показывает, почему такое терпение окупается: первые версии не работали в обычной системе, а повторные испытания и переработка дали две версии, которые заработали. Останавливаться рано правильно, когда так сказано в правилах, но дать переработанной версии честную проверку ещё в одном кольце часто лучше использует имеющиеся данные.

Попробуйте завтра

• Выберите одно задание и ключ, которые могла бы использовать каждая школа вашей сети, и запишите, когда будет сниматься исходный уровень.
• Перечислите пять типичных триггеров остановки с числами и человеком, решающим по каждому.
• Набросайте первые две строки записки о масштабировании: запрашиваемое решение и результат с ограничениями.