Другой курс ▾
Занятие 5. Справедливые тесты, обучение «под тест» и отчётность о результатах
Цель. Проверять задания на предвзятость и лишнюю языковую нагрузку, отличать хорошую подготовку к тесту от обучения «под тест» и сообщать результаты по результатам обучения так, чтобы ими могли пользоваться коллеги, ученики и родители.
Тест может быть хорошо спланирован и хорошо написан, но всё равно несправедлив, потому что то, кто ответит верно, определяет что-то вне предмета: незнакомая обстановка, длинное предложение, стереотип, привычка проверки. А справедливый тест можно использовать плохо, когда результаты превращаются в рейтинг или когда подготовка к тесту вытесняет остальную программу. Это занятие расширяет взгляд от задания к оцениванию в целом: как проверить справедливость за несколько минут, как давление на баллы меняет преподавание и как сообщать результаты, чтобы они помогали, а не клеили ярлыки.
Ключевые идеи
Где прячется предвзятость в задании
- Предвзятость — это когда задание труднее или легче для некоторых учеников по причинам, не связанным с проверяемым умением. Частые источники: контекст, незнакомый части учеников (горнолыжный курорт, схема метро для сельских детей), тяжёлый язык, стереотипы о том, кто чем занимается, и непривычные форматы.
- Языковая нагрузка важна в школах с узбекским и русским языком обучения и для учеников, которые учатся на языке, на котором дома говорят меньше. Если чтение не цель, используйте короткие предложения, знакомые слова и никаких двойных отрицаний.
- Проверка: имеют ли два ученика с одинаковым умением, но разным происхождением, домашним языком или полом одинаковые шансы на верный ответ? Если нет, задание измеряет что-то помимо умения.
Короткая процедура проверки справедливости
- Попросите коллегу, не автора, прочитать тест за 10 минут по короткому чек-листу: незнакомые контексты, стереотипы, языковая трудность, неясные инструкции, форматы, с которыми класс не встречался. Отметьте каждое задание: НОРМА, ИСПРАВИТЬ или ВОПРОС.
- Попросите двух-трёх учеников своими словами сказать, о чём спрашивает задание. Если они читают его иначе, чем вы задумали, перепишите. Используйте баланс имён, обстановок и ролей (Дилноза и Азиз, село и город, много видов работы).
- Если в школе есть параллельные узбекский и русский варианты, не переводите дословно. Попросите двуязычного коллегу проверить, что оба варианта одинаково понятны и одинаково трудны. Следуйте правилам школы и министерства о дополнительном времени и других условиях и записывайте, что было предоставлено.
Хорошая подготовка или обучение «под тест»?
- Хорошая подготовка: хорошо преподавать всю программу, уделить урок-два формату (читать инструкции, распределять 40 минут, заполнять бланк) и использовать задания прошлых лет как один из источников практики наряду с заданиями учебника.
- Сужение: отбрасывать темы, которых не было в последнее время, заменять практикумы и проекты тренировочными работами на время, учить приёмам вместо понимания или отрабатывать те самые задания, которые будут использованы. Исследователи, изучающие тесты с высокими ставками, например Дэниел Корец (Daniel Koretz), предупреждают: чем важнее балл, тем меньше он может говорить о реальном обучении.
- Проверка: дайте то же содержание в новой форме после паузы. Если ученики решают задания в тренировочном стиле, но не ту же идею в другой форме, подготовка сузила обучение.
Как сообщать результаты, чтобы ими можно было пользоваться
- Сообщайте по результатам обучения, а не только по сумме. «Азиз достиг результатов по отношениям и процентам; рассуждение в новой ситуации — следующий шаг» помогает больше, чем «14 из 20». Добавьте один конкретный шаг и быстро возвращайте работы, чтобы ученики могли их исправить.
- Не ранжируйте учеников публично и не сравнивайте их по именам. Для коллег и школы давайте сводку по классу по результатам обучения (например: «В моём классе из 24 человек результата B достигли 20, результата D — 6»), указывая, что тест охватывал и чего не охватывал.
- Говорите только то, что показывают данные. Один классный тест за один день не описывает способности ученика или всю вашу школу и не ложится на шкалу международного исследования. Держите результаты в тайне от тех, кому они не нужны.
Подготовка учеников к тесту
Хорошая подготовка
- Преподавать каждую тему
- Один урок о формате
- Задания прошлых лет — один из источников
- Объяснить и решить в новой форме
Серая зона
- Советы по прохождению теста
- Практика на время
- Проверяйте, что содержание на первом месте
Сужение
- Отбросить непроверяемые темы
- Заменить практикумы вариантами
- Отрабатывать те самые задания
Справедливость — больше, чем одно задание
У справедливости несколько слоёв. Слой задания — чек-лист предвзятости с занятия. Слой проведения спрашивает, писали ли все ученики тест в сходных условиях: одно время, одни инструкции, тихая аудитория, любые согласованные условия записаны. Слой проверки спрашивает, получает ли один и тот же ответ один и тот же балл, кто бы его ни написал: проверяйте без имён, оценивайте орфографию и почерк только если они входят в результат, и используйте одну рубрику для всех работ.
Есть и слой возможности научиться. Тест справедлив лишь к тем ученикам, которых этому учили. Если раздел был сокращён или класс пропустил три урока, отметьте это в записях и не воспринимайте результаты как приговор ученикам. Исследователи культурно чуткого оценивания предлагают, чтобы задания уважали происхождение учеников и позволяли им показать знания способами, не зависящими от знания одной культурной обстановки; эту идею вы можете адаптировать на месте, разнообразя обстановку и имена.
Давление на баллы и честная отчётность
Когда баллы имеют высокие ставки для учеников, учителей или школ, давление повысить их растёт. Дэниел Корец, изучающий это, утверждает: чем важнее балл, тем менее надёжно он может отражать реальное обучение, потому что преподавание смещается к проверяемому. Ваша защита проста и локальна: преподавайте всю программу, используйте разные формы заданий и время от времени проверяйте, переносится ли усвоенное на новую форму той же идеи.
Сообщайте результаты так, чтобы они поддерживали обучение. Блэк и Уильям описывают обратную связь, которая рассказывает ученику о конкретных качествах работы и о том, как её улучшить, без сравнения учеников друг с другом. В отчётах делайте так же: результаты, свидетельства, следующий шаг. Для коллег давайте сводки по классу по результатам обучения с числом учеников и добавляйте, чего тест не охватывал. Никогда не помещайте балл ученика на международную шкалу: классный тест и крупное исследование — разные инструменты.
Примеры из класса
Карта, которую сельские ученики не видели
Ситуация. Задание Дилнозы для 8 класса в Самарканде просит прочитать схему метро Ташкента и спланировать поездку с пересадками. Коллега из соседней сельской школы говорит, что её ученики никогда не пользовались метро. Проверяемое умение — читать сеть и считать пересадки. Дилноза сохраняет умение, но добавляет в само задание небольшую схему автобусных маршрутов, которую могут прочитать все ученики. Другие учителя перенимают этот приём.
Вывод. Уберите препятствие, не связанное с умением, или дайте информацию, нужную заданию.
Два языка, один тест
Ситуация. Школа в Ташкенте даёт один и тот же тест по математике для 7 класса на узбекском и русском языках. Азиз замечает, что в русском варианте одного задания для слова «скидка» использовано редкое слово, а в узбекском — более длинная фраза. Двуязычный коллега переписывает оба варианта обычным словом и проверяет, что они одинаково понятны. Математика не меняется. Родители одинаково понимают оба варианта.
Вывод. Параллельные языковые варианты проверяют на одинаковую ясность, а не переводят слово в слово.
Сводка вместо рейтинга
Ситуация. На педсовете в Фергане завуч просит Жасура составить ранжированный список его учеников 8 класса. Жасур приносит сводку по классу по результатам обучения: в его классе из 24 человек результата по отношениям достигли 20, результата по задачам в контексте — 6. Учителя решают добавить по одному заданию на рассуждение в каждый раздел 8 класса. Ни один ученик не назван, никого не ранжировали.
Вывод. Сводка по результатам обучения даёт школе то, на основе чего можно действовать, не навешивая ярлыков.
Типичные ошибки
- Проверять предвзятость только в заданиях и забывать об условиях проведения и привычках проверки.
- Воспринимать результаты класса, пропустившего уроки, как приговор ученикам.
- Использовать на тесте те самые тренировочные задания и называть это подготовкой.
- Сравнивать балл классного теста с международной шкалой или публично ранжировать учеников.
Проверка справедливости, сортировка подготовки и отчёт
- Тройки (10 мин.): откройте сборник. Примените чек-лист предвзятости к четырём образцам заданий. Отметьте каждое: НОРМА, ИСПРАВИТЬ или ВОПРОС, и запишите причину несколькими словами.
- Тройки (10 мин.): перепишите самое слабое задание так, чтобы сохранить умение и убрать не относящееся к делу препятствие. Проверьте переписанное тестом «то же умение, те же шансы».
- Тройки (10 мин.): рассортируйте восемь практик подготовки из сборника на ХОРОШИЕ, СЕРЫЕ и СУЖАЮЩИЕ. Договоритесь об одной фразе о серых, которую вы могли бы сказать завучу.
- Пары (15 мин.): по данным сборника напишите (а) заметку для родителя из четырёх предложений по результатам обучения и (б) сводку по классу для коллег из трёх строк с одним решением для преподавания. Обменяйтесь и проверьте, что ничто не выходит за рамки данных.
- Пары (15 мин.): разыграйте разговор с завучем, который просит ранжированный список учеников. Используйте сценарий из пяти шагов в сборнике. Поменяйтесь ролями и дайте друг другу по одной обратной связи.
- Самостоятельно (10 мин.): запишите школьное задание из сборника, включая то, как вы соберёте итоговую папку курса.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- С какими препятствиями из образцов заданий столкнулись бы ваши ученики и как вы найдёте такие препятствия в своих тестах?
- Какие практики серой зоны вас соблазняют и как вы проверите, что обучение не сужается?
- Что отчёт по результатам обучения дал родителю такого, чего не дало «14 из 20»?
Подумайте
- Каким ученикам в моём классе мои тесты могут казаться труднее по причинам, не связанным с предметом?
- Как я описываю результаты родителям сейчас и что мог бы изменить?
- Какой один инструмент этого курса я буду использовать снова в следующем месяце?
Попробуйте завтра
- Попросите коллегу применить чек-лист предвзятости к вашему следующему тесту и отметить каждое задание НОРМА, ИСПРАВИТЬ или ВОПРОС.
- Замените в отчёте одну строку о месте ученика одним утверждением о результате и следующим шагом.
- После периода подготовки дайте одно задание на ту же идею в новой форме и посмотрите, смогут ли ученики его решить.
Дополнительные материалы и ссылки
Проверяйте задания на предвзятость, готовьте учеников, преподавая всю программу, и сообщайте результаты по результатам обучения без ранжирования и преувеличений.