Другой курс ▾
Занятие 4. Трудность, дифференциация и улучшение заданий
Цель. Рассчитать индекс трудности (p) и индекс дифференциации (D) по небольшому классному набору, прочитать подсчёт по отвлекающим ответам и решить, оставить, исправить или убрать каждое задание.
Анализ заданий часто изучают с формулами и затем забывают. В реальной школе это короткая процедура после теста: разложить работы, посчитать, решить. Цель не статистика сама по себе, а лучшие тесты в следующий раз и более справедливые оценки сейчас. Это занятие идёт дальше формул: почему p и D зависят друг от друга, как читать закономерности в отвлекающих ответах, когда трудное задание — не плохое, а сигнал для преподавания, и как вести небольшой банк проверенных заданий.
Ключевые идеи
Два вопроса к каждому заданию
- После теста большинство учителей смотрят на общие баллы. Анализ заданий добавляет два вопроса к каждому заданию: сколько учеников ответили верно (трудность) и чаще ли верно отвечают те, кто хорошо справился в целом, чем те, кто справился плохо (дифференциация)?
- Ответы не оценивают учеников. Они оценивают задание, а иногда и ваше преподавание. Задание, в котором никто не ошибся, мало что говорит; задание, где сильные ошибаются чаще слабых, — предупреждение.
- Программы не нужны. Для класса из 24 человек и теста из 20 заданий достаточно бумаги, ручки и 20 минут.
Расчёт p и D вручную
- Расположите работы по суммарному баллу. Возьмите верхнюю группу (верхняя треть, в классе из 24 это 8 работ) и нижнюю группу (нижняя треть, 8 работ). Группы должны быть равны по размеру. Средние работы в расчёт D не входят.
- p = число верных ответов в классе / число учеников. D = (верно в верхней группе − верно в нижней) / размер группы. Пример: 7 верных в верхней и 2 в нижней группах по 8 дают D = (7 − 2) / 8 = 0,63.
- Обычный начальный ориентир: p примерно от 0,25 до 0,75 и D не ниже 0,20. Это сигналы присмотреться, а не законы: важное базовое задание может быть лёгким намеренно, а очень трудное — всё равно хорошим вызовом.
Отвлекающие ответы и решения
- Посчитайте, сколько учеников верхней и нижней групп выбрали каждый вариант. Здоровый отвлекающий ответ привлекает некоторых слабых и немногих сильных. Вариант, который никто не выбирает, не работает. Если неверный вариант выбирают чаще ключа сильные ученики, подозревайте неверный ключ или двусмысленный вариант.
- Затем решите: ОСТАВИТЬ (работает как задумано), ИСПРАВИТЬ (поправить формулировку, заменить «мёртвый» вариант) или УБРАТЬ (дефектно и не стоит спасения). Рядом с каждым решением запишите причину.
- Если ключ задания был неверен и вы его исправили, пересчитайте все работы и скажите ученикам, что и почему изменили. Тихое снятие баллов подрывает доверие.
Проблема задания или проблема преподавания?
- Трудное задание может быть хорошо написано и выявлять пробел в преподавании. Если ключ верен, формулировка ясна, а сильные ученики тоже ошибаются, объясните идею заново. Если неверны формулировка или ключ, исправьте задание.
- При 20–30 учениках одна-две работы могут сдвинуть D на 0,10 и больше. Относитесь к числам как к сигналу, смотрите и на работы учеников и доверяйте закономерностям по нескольким заданиям или тестам больше, чем одному заданию в один раз.
- Ведите простую карточку задания для тех, что стоит использовать снова: формулировка, ключ, дата, p, D и любые изменения. За несколько четвертей получится небольшой надёжный банк. Эти классные числа описывают только ваш тест и ваших учеников; их нельзя сравнивать с баллами других тестов.
Бумажная процедура анализа заданий
Что p и D могут и не могут сказать
Трудность и дифференциация связаны. Задание, которое решают почти все, не может разделить учеников, поэтому его D низкое, даже если задание хорошее; то же верно для задания, которое почти все решают неверно. D может быть наибольшим для заданий средней трудности. Значит, низкое D у лёгкого задания не недостаток, если вы хотели лёгкое задание для проверки важного базового умения. Спросите себя, что вы хотели от задания, прежде чем судить о нём.
Помните и о том, что такое классные числа. При 24 учениках одна работа сдвигает D примерно на 0,13. Одно университетское руководство советует внимательно посмотреть на задания с D ниже примерно −0,10, другое называет 0,20 минимальным D. Используйте это как повод проверить формулировку, ключ и отвлекающие ответы, но не как автоматическое правило удаления. Закономерности по двум-трём тестам надёжнее одного результата.
Чтение закономерностей в отвлекающих ответах и ведение банка
Четыре закономерности покрывают большинство случаев. (1) Ключ выбирает в основном верхняя группа, а неверные варианты — нижняя: здорово. (2) Один неверный вариант не выбирает никто: замените его реальным заблуждением. (3) Многие сильные ученики выбирают один неверный вариант: подозревайте неверный ключ или вариант, который тоже верен. (4) Выбор равномерно распределён по всем вариантам в обеих группах: ученики угадывают, значит, идея не усвоена или основа неясна.
Ведите карточку для каждого задания, которое стоит использовать снова: формулировка, ключ, дата, p, D и изменения. Через две-три четверти у вас будет небольшой банк, которому вы доверяете больше, чем новому черновику. Храните его бережно: если ученики увидят задания заранее, банк потеряет ценность. Делитесь карточками с коллегой из той же параллели и договаривайтесь, кто какое задание дорабатывает.
Примеры из класса
Тест слишком лёгкий, чтобы чему-то научить
Ситуация. Сардор, учитель математики в 8 классе в Ташкенте, обнаруживает, что у 14 из его 20 заданий p выше 0,85, а D низкое. Его тесты поднимают ученикам настроение, но дают ему мало информации. Он оставляет шесть лёгких заданий для важных умений, шесть заменяет заданиями на применение и добавляет два задания на рассуждение. В следующем тесте баллы разошлись, и он увидел, кому что нужно.
Вывод. Тест только из лёгких заданий редко различает; намеренное разнообразие даёт больше информации об обучении.
Второй верный ответ
Ситуация. Гульнора, учитель естествознания 7 класса в Самарканде, спрашивает: «Какой материал хорошо проводит электричество? A) медная проволока B) стальная ложка C) деревянная линейка D) пластиковый стакан». Анализ показывает, что многие сильные ученики выбрали B. Сталь тоже проводит ток, значит, верных вариантов два. Она переписывает вопрос как «лучший проводник в таблице» со значениями, а исходное задание пересчитывает, принимая A и B.
Вывод. Когда сильные ученики выбирают неверный вариант, проверьте, не верен ли он тоже, прежде чем сомневаться в учениках.
Трудное задание, которое было сигналом для преподавания
Ситуация. Задание Азиза по географии в 6 классе в Фергане просит прочитать столбчатую диаграмму; верно отвечают лишь 5 из 24, среди них мало сильных. Формулировка ясна, ключ верен. Он понимает, что никогда не тренировал диаграммы. Он проводит два коротких урока по чтению диаграмм и через две недели даёт параллельное задание, с которым теперь справляется больше половины класса.
Вывод. Низкое p у хорошего задания — часто проблема преподавания; объясните заново, а не убирайте задание.
Типичные ошибки
- Считать пороги 0,25–0,75 и 0,20 законами и удалять каждое задание за их пределами.
- Считать D по группам разного размера или с включением средних учеников.
- Менять баллы после теста, не сказав ученикам, что изменилось и почему.
- Использовать задания на виду у всех снова, из-за чего они теряют ценность, вместо надёжного хранения.
Лаборатория анализа заданий
- Пары (10 мин.): откройте сборник. Класс из 24 человек написал тест из 5 заданий; группы: верхняя 8, средняя 8, нижняя 8. Рассчитайте индекс трудности p для каждого задания.
- Пары (10 мин.): рассчитайте индекс дифференциации D для каждого задания. Отметьте каждое задание с p вне диапазона 0,25–0,75 или с D ниже 0,20.
- Пары (15 мин.): прочитайте подсчёт по отвлекающим ответам для заданий 2, 4 и 5. По каждому заданию запишите одно решение (оставить, исправить или убрать) и причину в одном предложении.
- Вся группа (10 мин.): сравните решения. По заданию 4 разыграйте разговор, в котором учитель сообщает классу, что ключ был неверным. Отработайте спокойную, честную фразу.
- Пары (15 мин.): отработайте бумажный подсчёт на вашем последнем тесте (или на тесте, который вы будете давать). Разложите работы в три стопки, подсчитайте одно задание и заполните для него карточку. Спланируйте, когда сделаете это для остальных.
- Самостоятельно (10 мин.): запишите школьное задание из сборника и договоритесь с коллегой о тесте, который вы будете анализировать.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Какое задание выглядело нормально по суммарным баллам, но было выявлено через D?
- Что вы скажете классу по заданию 4 и что сделаете с баллами?
- Когда вы намеренно оставите в тесте лёгкое задание (p выше 0,75)?
Подумайте
- Обвинял ли я когда-нибудь учеников в результате, который на самом деле вызвало задание?
- Какие задания из моих прошлых тестов я хотел бы видеть в небольшом надёжном банке?
- Что я говорю ученикам, когда меняю балл после теста, и когда?
Попробуйте завтра
- После следующего теста разложите работы на три стопки и посчитайте p и D для пяти заданий, в которых вы меньше всего уверены.
- Заполните карточку для одного задания, которое стоит сохранить, и сделайте заметку об одном изменении.
- Выберите одно задание с низким p и верным ключом и спланируйте короткое повторное объяснение перед новой проверкой.
Дополнительные материалы и ссылки
Считайте p и D вручную, читайте отвлекающие ответы, решайте оставить, исправить или убрать и относитесь к числам малого класса как к сигналам.