Другой курс ▾
Занятие 4. Справедливая и надёжная проверка
Цель. Назвать основные источники предвзятости и несогласованности при проверке и применять простые приёмы, сближающие оценки.
Оценка — это обещание: ученик, семья и следующий учитель верят, что она говорит что-то правдивое о работе. Если ту же работу коллега или вы сами уставшим вечером оценили бы совсем иначе, обещание слабое. Ни один учитель не проверяет идеально, и дело не в этом. Это занятие помогает измерить, насколько близки на самом деле ваши оценки, и показывает недорогие способы их сблизить.
Ключевые идеи
Валидно, надёжно, справедливо
- Валидно: оценивание измеряет то, что вы хотели измерить. Ответ по географии не должен терять баллы за почерк.
- Надёжно: одна и та же работа получает близкую оценку у разных проверяющих и в разные дни.
- Справедливо: у каждого ученика равные шансы показать, что он знает, в языке, контексте и условиях задания.
Откуда берётся предвзятость
- Эффект ореола: аккуратный длинный ответ или имя сильного ученика заставляют читать щедро. Важны также порядок и усталость: последние работы в стопке часто проверяют по иному стандарту, чем первые.
- На учителей могут влиять пол ученика, семейное положение или его поведение. В исследовании, где преподаватели университетов Ирана размышляли о собственной проверке, они сообщали о таких предубеждениях и предлагали обучение и само- и взаимооценивание.
- Называть эти риски не значит быть плохим учителем. Это значит, что вы можете выстроить приёмы против них.
Приёмы, делающие оценки надёжнее
- Напишите или зафиксируйте схему оценивания до проверки и заранее решите, за что ставится каждый балл.
- Закрывайте имена, проверяйте один вопрос во всех работах и время от времени перемешивайте стопку.
- Перепроверьте пять работ после перерыва. Если две оценки отличаются больше чем на один балл, схеме нужны более ясные слова.
Модерация и справедливые условия
- Вместе с коллегой проверьте по отдельности три общие работы, затем сравните. Договоритесь об одной эталонной работе для каждого уровня и сохраните её на будущее.
- Проверьте и условия: одинаковое время и помощь для всех, инструкции на языке обучения учеников и контексты, знакомые всем.
- Заранее планируйте разумные приспособления, например дополнительное время или крупный шрифт для нуждающегося ученика, чтобы тест по-прежнему измерял тот же результат.
Шаги к согласованной проверке
Согласованность проверяется сравнением
Свою надёжность нельзя увидеть, глядя только на свои оценки. Её видно лишь при сравнении: с коллегой на тех же работах или с самим собой через неделю. В обзоре регулятора о проверке учителями в Англии отмечено, что внутренняя стандартизация в школах часто слаба, а такие методы, как образцовые работы, обучение и пробы согласования, применяются, хотя их эффективность мало проверена.
Эта честность полезна. Цель не в идеальном совпадении, а в меньшем разбросе. Реалистичный ориентир для вопроса на 6 баллов: два внимательных проверяющих отличаются не более чем на один балл в большинстве работ. Если расхождение три балла, проблема обычно в словах схемы, а не в проверяющих.
Справедливость начинается до проверки
Справедливой оценке нужно справедливое задание. Проверьте, что инструкции на языке, на котором учатся ученики, и написаны словами, которые встречались на уроках. Проверьте, что каждый ученик имел возможность выучить содержание: тест по теме, пропущенной для половины класса, не справедливая мера для этого ученика.
Проверьте и условия. Если один класс слышит текст для аудирования быстро, а другой медленно, или у одного класса 40 минут, а у другого 30, оценки различаются из-за условий. Напишите короткий порядок для каждого теста: время, допустимая помощь, как читаются инструкции и какие приспособления доступны, и применяйте один и тот же каждый раз.
Примеры из класса
Три учителя, одно сочинение
Ситуация. Три учителя 6 класса в Самарканде проверяют один рассказ по схеме на 12 баллов. Их оценки: 5, 8 и 10. Обсудив три оценки, они обнаруживают, что «использует интересную лексику» каждый понимает очень по-разному. Они заменяют это на «использует не менее пяти слов из списка раздела» и проверяют ещё три сочинения. Разброс сокращается до двух баллов.
Вывод. Совместный взгляд на одну работу находит неясное слово в схеме.
Имена под стикером
Ситуация. Азиз закрывает имена на 30 сочинениях 8 класса в Фергане, проверяет их, а утром проверяет пять из них снова. Две оценки отличаются на балл, потому что в конце стопки он был уставшим. Теперь самые длинные ответы он проверяет утром, а стопку каждый второй раз начинает с другого конца.
Вывод. Повторная проверка нескольких работ после перерыва показывает дрейф собственного стандарта.
Один и тот же текст, прочитанный дважды
Ситуация. Дилноза читает текст для аудирования своему 3 классу, а коллега читает тот же текст своему, быстрее и только один раз. Класс Дилнозы получает более высокие баллы. Они пишут короткий порядок: текст читается дважды, с одной скоростью, между вопросами пауза 10 секунд. В следующем тесте средние в двух классах получаются близкими.
Вывод. Равные условия — часть справедливой проверки: иначе баллы измеряют читающего, а не учеников.
Типичные ошибки
- Считать, что большой опыт автоматически делает ваши оценки согласованными.
- Проверять все работы одного ученика подряд, и сильный первый ответ поднимает остальные.
- Давать одним ученикам переделать или подсказки, а другим нет, без ясного правила.
- Оставлять в схеме слова «хорошо» или «достаточно» вместо описания того, что должно быть на странице.
Проверьте одни и те же работы: как сильно мы расходимся?
- Самостоятельно (10 мин.): проверьте три работы учеников из сборника по схеме на 6 баллов. Не разговаривайте. Запишите три оценки на листке.
- Нанесите оценки (10 мин.): фасилитатор рисует на доске линию для каждой работы, и каждый участник ставит точку. Посмотрите на разброс.
- В группах по четыре (15 мин.): объясните свои оценки, найдите слово в схеме, вызвавшее разницу, и перепишите его. Договоритесь об одной эталонной оценке для каждой работы.
- Планирование (15 мин.): выберите три приёма из списка в сборнике и запишите, когда вы применяете каждый в ближайшие две недели.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Каков был разброс по каждой работе и какая вас удивила?
- Какие слова в схеме вызвали расхождения?
- Какой приём можно применять без дополнительного времени?
Подумайте
- Когда меня в последний раз удивило, как изменилась оценка ученика при повторном чтении работы?
- Какие из моих тестов могут быть несправедливы к части учеников из-за языка или контекста?
- С каким коллегой я могу сравнить оценки в этом месяце?
Попробуйте завтра
- Выберите пять работ, проверьте их и завтра проверьте снова, не глядя на первые оценки. Сосчитайте, сколько изменилось.
- Попросите коллегу проверить вместе с вами один вопрос вашей следующей контрольной и сравните.
- Напишите порядок из пяти строк для следующего теста: время, помощь, чтение инструкций, приспособления.
Дополнительные материалы и ссылки
Оценки становятся справедливее, когда схема ясна, имена закрыты, проверяется по одному вопросу и учителя сравнивают оценки на общих образцах.