Другой курс ▾
Занятие 1. Чтение результатов по классам, годам и предметам
Цель. Читать результаты по классам, годам и предметам, решать, какие сравнения справедливы, и учитывать малые числа и естественные колебания до любых выводов.
Завуч вывешивает таблицу, коллегу хвалят или он тревожится, и следует решение. Но те же цифры выглядят совсем иначе, если спросить, сколько учеников писало тест, кого не было, откуда стартовали группы и обычно ли цифра скачет. Это занятие даёт короткую процедуру, чтобы решать, справедливо ли сравнение между классами, годами или предметами, и защищать и учеников, и коллег от выводов, которых данные не выдерживают.
Ключевые идеи
Три способа сравнения
- По классам: один год, один тест, разные группы. По годам: тот же предмет и класс, другие ученики. По предметам: те же ученики, разные привычки оценивания.
- Каждое сравнение ошибается по-своему, поэтому назовите, какое вы делаете, до того как смотреть на цифры.
- Курс 8.2 учил читать данные одного класса. Здесь вы расширяете взгляд и спрашиваете, можно ли вообще ставить два набора чисел рядом.
Проверки сопоставимости
- Тот же тест или та же сложность? Тот же ключ и тот же проверяющий? Тот же день, время и условия (утро понедельника — не последний урок пятницы)?
- Сколько учеников писало и кого нет? Отсутствующие часто те, кто набрал бы меньше всех, или те, у кого дома сложности.
- Начинали ли группы с одного места? Менялся ли состав учеников между годами (новые, переведённые)?
Малые числа и естественная вариация
- В группе из 25 один ученик — это 4 процентных пункта. Скачок на 8 пунктов за год может быть просто двумя учениками.
- Результаты естественно колеблются из года в год: когорты и дни экзаменов различаются. Ищите закономерность за три и более года или четверти, а не один скачок.
- Всегда печатайте число учеников (n) рядом с каждым процентом. Читатель должен сразу видеть, насколько цифра хрупка.
Средние могут скрывать, а предметы не на одной шкале
- Делите до выводов: по полу, языку обучения, стартовой полосе. Закономерность во всей группе может перевернуться внутри частей (парадокс Симпсона).
- Предметы оценивают по-разному. «4» по литературе и «4» по физике — не одно и то же. Сравнивайте каждый предмет с его историей или параллельными классами, а не с другими предметами.
- Сравнивайте результаты, а не коллег. Рейтинг учителей по сырым средним подрывает доверие и ничему не учит.
Пять проверок перед сравнением
Отсутствующие и «цена ученика»
Доля сдавших — это дробь, а дробь надёжна настолько, насколько надёжен знаменатель. Если 8 из 28 не писали тест, процент описывает 20 детей, а не класс. Спросите, кого нет и почему: болезнь случайна, а «отправили домой перед тестом» — нет. Быстрая проверка хрупкости: пересчитайте, дав отсутствующим правдоподобный результат, например что половина из них сдала. Если порядок классов меняется, исходное сравнение небезопасно.
Затем выражайте различия в учениках. В группе из 24 один ученик — около 4 процентных пунктов; в группе из 60 — около 1,7. Изменение на 8 пунктов в первой группе — это двое детей. Запись «n = 24 (1 ученик = 4 пункта)» рядом с цифрой позволяет любому читателю оценить её без курса статистики.
Чтение нескольких лет и разбиение перед выводом
Опубликованные исследования школьных экзаменационных результатов показывают, что колебания от года к году обычны и в основном объясняются случайностью в результатах отдельных учеников и различиями когорт, а не изменением преподавания (см. отчёт Cambridge Assessment). Поэтому нарисуйте минимум три-четыре года на одной линии с диапазоном, прежде чем говорить о тенденции. Значение внутри обычного диапазона — не новость; значение, вышедшее из диапазона два-три года подряд, заслуживает внимания.
Перед выводом разбейте группу: по языку обучения, полу или стартовой полосе. Иногда общешкольная цифра растёт, а каждая подгруппа падает, потому что изменился состав учеников. Это парадокс Симпсона, и лекарство простое: смотрите и на целое, и на части.
Примеры из класса
Тест в понедельник и тест в пятницу
Ситуация. В самаркандской школе три седьмых класса пишут одну работу по дробям из 20. 7А пишет в понедельник утром (сдали 24 из 30, 80%), 7Б — на последнем уроке пятницы (21 из 28, 75%). Дилноза, преподающая в 7Б, замечает, что ученики устали после спортивного дня. Завуч уже поставил две цифры рядом.
Вывод. Одна и та же работа — не те же условия; разрыв в 5 пунктов, меньший двух учеников, не основание для рейтинга.
Четыре года алгебры
Ситуация. Доля сдавших алгебру в 9 классе ферганской школы: 64% (16 из 25), 77% (17 из 22), 63% (17 из 27) и 75% (18 из 24). Азиз, заведующий кафедрой математики, хочет объявить, что новая рутина «подняла результаты на 12 пунктов», потому что последний год на 12 выше третьего. Его заместитель рисует все четыре точки на одном листе миллиметровки.
Вывод. Зигзаг между 63% и 77% при примерно 24 учениках — обычный диапазон; один скачок — не тенденция.
Предметы не на одной линейке
Ситуация. В Ташкенте в отчёте класса 8Б средние оценки: математика 3,4, узбекский 4,1, физкультура 4,8. Один из родителей говорит: «Значит, класс моего сына слаб в математике». Классный руководитель Малика берёт оценки того же класса за прошлый год: 3,3, 4,2 и 4,8. Она объясняет, что класс почти не изменился ни в одном предмете, а математика оценивается строже физкультуры.
Вывод. Сравнивайте предмет с его же историей или параллельным классом, а не с другим предметом.
Типичные ошибки
- Публиковать процент без числа учеников за ним.
- Читать скачок или падение за один год как тенденцию или заслугу или вину учителя.
- Ранжировать предметы друг против друга по среднему баллу.
- Исключать отсутствующих или выбывших учеников, не сообщая об этом.
Справедливо или нет? Классы, предметы и годы
- ЗАДАНИЕ A (40 мин.). Откройте сборник упражнений: таблица 1 (три класса 7-го по одному тесту по дробям, с примечаниями) и таблица 2 (средние классов по четырём предметам). Всё в сборнике — вымышленные учебные данные. Коллеги по трое.
- Тройки (15 мин.): по таблице 1 заполните список проверок сопоставимости: тот же тест, те же условия, кого нет, сколько учеников. Затем посчитайте, какой была бы доля сдавших в 7В, если бы отсутствующие сдавали вдвое реже.
- Тройки (10 мин.): по таблице 2 решите, какие утверждения о классе безопасны, а какие нет, и предложите более справедливое сравнение для каждого предмета.
- Вся группа (5 мин.): назовите одно сравнение, от которого ваша тройка откажется, и одно, которое сделает со сноской.
- ЗАДАНИЕ B (30 мин.). Таблица 3: доля сдавших алгебру в 9 классе школы за четыре года. Пары (15 мин.): посчитайте долю сдавших и «цену» одного ученика в каждый год, нарисуйте четыре точки на миллиметровке и напишите одно предложение, которое кафедра может честно сказать.
- Пары (10 мин.): возьмите свои обезличенные результаты за два года и более. Выберите одно сравнение, которое вы делали раньше, и перепроверьте его по пяти проверкам. Запишите, какую сноску вы добавили бы сейчас.
- Самостоятельно (5 мин.): запишите школьное задание из сборника.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Какая из пяти проверок сильнее всего изменила ваше прочтение таблицы 1?
- Как то, что один ученик стоит около 4 пунктов, изменило ваше чтение четырёхлетней таблицы?
- Какое сравнение в вашей школе делается чаще всего без этих проверок?
Подумайте
- Какое сравнение в вашей школе использовали, чтобы кого-то похвалить или упрекнуть? Прошло бы оно пять проверок?
- Для какой самой малой группы в вашей школе публикуется процент?
- Кому нужно знать сноски к таблице: родителям, директору, команде?
Попробуйте завтра
- Выберите одну таблицу, которую школа уже использует, и добавьте в неё n и одну сноску.
- Посчитайте, чему равен один ученик в каждом вашем классе, и запишите это на списке класса.
- Нарисуйте долю сдавших по вашему предмету за последние три-четыре года на одной линии и отметьте диапазон.
Дополнительные материалы и ссылки
Перед сравнением проверьте тест, условия, кого нет и сколько учеников; ждите колебаний и никогда не читайте один скачок как тенденцию.