Занятие 2. Справедливое сравнение групп: прогресс, а не только оценки

Достижение говорит «где», прогресс — «как далеко»

• Июньская оценка показывает, где класс сейчас. Она не показывает, откуда он начал. Два класса с одним средним могли пройти очень разный путь.
• Оценка учителей или методов только по итоговым отметкам в основном поощряет классы, начавшие сильнее всех.
• Полезны оба взгляда: достижение — что ученики умеют сейчас, прогресс — что добавило преподавание.

Добавленная стоимость в четырёх строках, без сложной статистики

• СТАРТ: разделите учеников на полосы по прежнему тесту (Низкая, Средняя, Высокая). ОЖИДАЕМЫЙ: для каждой полосы средний итоговый балл всех учеников школы или параллели в этой полосе в прошлом году.
• ФАКТИЧЕСКИЙ: реальное среднее этого класса. РАЗНИЦА: фактический минус ожидаемый. У класса с многими слабыми стартующими ожидаемая оценка ниже, поэтому его судят по справедливой планке.
• Читайте разницу как вопрос, а не приговор. Она говорит «посмотрите сюда», а ответ лежит в работах учеников и на уроках.

Ловушки, из-за которых группы кажутся разными

• Смешанные группы: класс с большим числом сильных стартующих кажется лучше, даже если каждая полоса показала то же самое. Сравнивайте внутри полос, а не только в целом.
• Возврат к среднему: ученики, отобранные за очень низкие баллы, в следующий раз набирают больше даже без помощи, а самые высокие падают. Группе поддержки нужна группа сравнения.
• Контекст: язык обучения, новички, посещаемость и неудачный день теста сдвигают результаты. Записывайте их рядом с цифрами.

Насколько велика должна быть разница, чтобы иметь значение?

• Ученико-эквиваленты: если оценка одного ученика сдвигается на 3, среднее класса из 28 сдвигается на 3/28, около 0,1. Разница 0,2 меньше, чем небольшое изменение у одного ученика.
• Будьте особенно осторожны с малыми классами и одним годом. Больше доверяйте разнице, которая повторяется по четвертям или годам и подтверждается работами учеников.
• Используйте добавленную стоимость, чтобы учиться: «Что делает на уроке класс, который вырос больше, и что могу попробовать я?» Не используйте её для рейтинга коллег.

Как построить надёжные полосы

Выберите одну прежнюю оценку, которая есть у каждого ученика, например сентябрьский тест или итоговую оценку прошлого года. Разделите учеников на три полосы примерно равного размера не по ощущениям, а по заранее записанным границам баллов. Затем по ученикам прошлого года или по всей параллели найдите средний итоговый балл каждой полосы. Эта таблица — ваше «ожидаемое» на год. Для отдельного ученика она будет неверной, и это нормально: она рассчитана на группы от 20 человек.

Когда можете, используйте таблицы полос минимум за два года: один год сам шумный. Запишите на странице границы и годы, чтобы коллега мог повторить вашу работу. Если школа малая, объедините параллельные классы до расчёта полос и сохраняйте всех учеников, в том числе пришедших позже, с пометкой.

Что разница может и не может сказать

Положительная разница означает, что ученики справились лучше, чем похожие ученики в прошлом, но не то, что это сделал учитель. Это может отражать сильную рутину, но также одарённую группу, мягкого проверяющего, более лёгкий тест или случай. Отрицательная разница может отражать обратное плюс скрытые факторы вроде новичков или языка. Поэтому цифра — вопрос: «Что мы видим в работах этого класса? Что делает на уроке учитель класса с наибольшим приростом?»

Всегда прилагайте ученико-эквиваленты (разница × размер класса, делённая на типичный прирост на ученика) и число лет. Разница +0,75 в среднем в классе из 28 — это 21 балл в сумме, примерно семь учеников, каждый на три балла выше ожидания; интересно, но это только один год.

Попробуйте завтра

• Выберите один прежний тест и запишите три границы полос для вашего предмета и класса.
• Посчитайте ожидаемое и фактическое среднее для вашего класса и запишите результат как вопрос.
• В следующий раз, отбирая учеников на дополнительную помощь, найдите похожую группу, которая не может прийти, и сохраните их оценки.