Занятие 5. Искажения, этика и замыкание цикла

Где данные ошибаются

• Тест измеряет не то, что мы думаем: текстовая задача на языке, который ученик ещё осваивает, измеряет чтение не меньше, чем математику. Это искажение измерения.
• Некоторых учеников нет: отсутствуют, переведены, не внесены. Тогда цифра описывает только оставшихся (отбор).
• Мы читаем шум как историю или одно число как ярлык: «слабый ученик», «слабый класс». Одна оценка — снимок момента, а не человек.

Когда показатель становится целью

• Закон Кэмпбелла (и сходный закон Гудхарта): чем сильнее число используется для важных решений, тем сильнее его подгоняют и тем сильнее оно искажает то, что измеряет.
• Типичные признаки: занятия только с учениками возле проходной границы, дрейф оценок вверх, трудных учеников не допускают к тесту, преподавание только того, что проверяется.
• Защита: используйте несколько показателей (результаты, прогресс, посещаемость, работы учеников), смотрите на всех учеников, а не только возле границы, и держите ставки для отдельных людей низкими.

Простая этическая проверка данных

• Задайте шесть вопросов: какова цель? Нужны ли имена или хватит кодов? Кто это увидит? Как долго хранится? Знают ли ученики и родители, что собирается и зачем? Не навесит ли это ярлык на ребёнка и не пристыдит ли коллегу?
• Собирайте минимум, делитесь минимумом, удаляйте по окончании. Списки с именами храните в школе, никогда в личном чате.
• Никогда не вставляйте имена, оценки учеников или результаты коллег в ИИ-чат-бот или любой онлайн-инструмент, который вы не контролируете; вымышленные числа подходят, чтобы научиться методу.

Замкните цикл: план, действие, изучение, решение

• ПЛАН: один вопрос, одно изменение, прогноз, измерение и способ его проведения, исходный уровень и допуск на шум. ДЕЙСТВИЕ: внесите изменение в уроки и записывайте, что произошло на самом деле.
• ИЗУЧЕНИЕ: измерьте тем же способом, что и исходный уровень, сравните с исходным уровнем, с группой сравнения, если она есть, и с обычной вариацией. РЕШЕНИЕ: заранее задайте правило, затем примите, адаптируйте или откажитесь.
• Напишите одну страницу, которую команда сможет открыть через год: вопрос, изменение, цифры, решение, что вы сделали бы иначе. Делитесь и неудачами: они экономят коллегам четверть.

Когда цель съедает показатель

Социолог Дональд Кэмпбелл заметил: чем больше показатель используют для важных решений, тем сильнее он искажается и тем сильнее искажает процесс, который должен был отслеживать. В школах это можно узнать рано: усилия смещаются к ученикам чуть ниже проходной границы, оценки ползут вверх, слабых учеников тихо исключают из подсчёта, а преподавание сужается до проверяемых заданий. Для этого не нужны плохие люди, нужно одно число с высокими ставками.

Защита — это конструкция, а не подозрительность: сообщайте несколько показателей вместе, включайте каждого зачисленного ученика, модерируйте оценки с коллегой и используйте данные, чтобы задавать вопросы, а не награждать или наказывать. Проверьте и обратный риск: игнорировать данные, потому что их могут подгонять. Цель — сбалансированный набор, который трудно подогнать целиком.

Цикл не замкнут, пока не измерен дважды

Работа по улучшению часто останавливается на действии: новая рутина, новый лист, семинар. Цикл Plan-Do-Study-Act добавляет то, чего обычно не хватает: шаг «Изучение» с исходным уровнем до изменения, тем же измерением потом и правилом решения, написанным заранее. Education Endowment Foundation указывает, что хорошие идеи могут провалиться из-за плохого внедрения; шаг «Изучение» — способ заметить, что так и происходит.

Решите правило до прихода данных, например: «успешны хотя бы на 12 учеников больше — принимаем; 5–11 — адаптируем и повторяем; меньше 5 — отказываемся или перерабатываем». Правило, написанное первым, останавливает оптимистичное чтение скромного результата, а «отказаться» становится достойным исходом, потому что освобождает время. Затем ведите журнал на одной странице, чтобы команда следующего года не открывала тот же урок заново.

Попробуйте завтра

• Выберите один показатель, о котором сообщает ваша школа, и запишите, что он мог бы исказить, став целью.
• Проведите шесть этических вопросов по одному списку или листу, который вы храните, и исправьте самый слабый ответ.
• Заполните лист PDSA для одного изменения с исходным уровнем, правилом решения и датой второго измерения.