Другой курс ▾
Занятие 4. Простой анализ и честные выводы
Цель. Очистить и свести данные в таблицу, посчитать простые показатели изменения, нарисовать честные графики, закодировать заметки интервью, назвать другие объяснения и написать вывод, соответствующий данным.
Небольшие исследования чаще всего ошибаются в анализе, не из-за сложной математики, а из-за спешки: одно среднее, эффектный график, вывод больше, чем данные. При десяти-двадцати учениках не нужна статистическая программа. Нужны ясная таблица, два-три честных числа, картинка, начинающаяся с нуля, и привычка спрашивать: «Что ещё могло это объяснить?»
Ключевые идеи
Сначала посмотрите, потом считайте
- Поместите каждого ученика в одну строку: код, до, после, изменение. Берите только тех, у кого есть ОБА теста, и скажите, сколько исключено и почему (отсутствовал, выбыл).
- Перепроверьте оценки нескольких работ по ключу. Одна неверная сумма может изменить среднее малой группы.
- Минуту посмотрите на сырые цифры, прежде чем что-то считать. Есть ли выделяющийся ученик или балл, похожий на ошибку?
Простые показатели, рассказывающие историю
- СРЕДНЕЕ = сумма, делённая на число учеников. МЕДИАНА = серединный балл при упорядочивании. Используйте оба: один очень высокий или низкий балл тянет среднее, но не медиану.
- Сравнивайте ПРИРОСТ, а не только итоговые баллы, потому что группы могут начинать по-разному. Посчитайте, сколько учеников прибавили 2 и больше, 1 или ничего.
- Например: группа A выросла со среднего 4,5 до 6,2 (+1,7); группа Б с 4,5 до 5,4 (+0,9). Семеро из десяти в A прибавили 2 балла; в Б - никто.
Честные таблицы и графики
- Один график - одна мысль. Столбчатые диаграммы начинаются с НУЛЯ, столбцы подписаны числами, у обеих групп одна шкала. Никогда не обрезайте ось, чтобы разрыв выглядел большим.
- Для малых групп лучше всего точечный график: одна точка на изменение ученика, чтобы читатель видел разброс, а не только среднее.
- В таблице должно быть мало столбцов и ясный заголовок. Точные числа - в таблицу, картинку рядом; читатели верят тому, что могут проверить.
Слова учеников, другие объяснения и вывод
- Интервью: прочитайте все заметки, пометьте повторяющиеся идеи короткими кодами (например R = лучше запомнил, T = слишком быстро) и посчитайте, сколько учеников упоминает каждую. Процитируйте одну короткую фразу без имён.
- Перечислите другие объяснения и чем проверить каждое: другой класс, более увлечённый учитель, тренировка на том же тесте, потерянная неделя Навруза, отсутствующие ученики. Скажите, какие вы не смогли исключить.
- Формулируйте вывод с той силой, которую допускают данные: «В этих классах ученики с приёмом прибавили больше» - честно; «Приём даёт лучшие результаты во всех школах» - нет. Малые группы требуют «повторить, прежде чем решать широко».
Сила вывода от самого слабого к самому сильному
Почему важны отдельные ученики
Среднее может скрывать больше, чем показывает. Если среднее группы A выросло с 4,5 до 6,2, это могут быть семеро, каждый прибавил два балла, или один ученик, прыгнувший на десять, и девять, почти не сдвинувшихся. Среднее похоже, но только первое говорит, что приём дошёл до большинства класса. Всегда смотрите на изменение каждого ученика и считайте, сколько прибавили много, мало или ничего.
Сравнивайте группы по приросту, а не только по итоговому баллу, так как группы редко начинают одинаково. Если один класс начинает с 4,5, а другой с 3,0, итоговая разница в 1,5 балла ничего не говорит о приёме. В малой группе один отсутствующий ученик может сместить среднее на полбалла, поэтому укажите число учеников в каждой строке и почему кого-то исключили.
Выводы, которые подходят данным
Есть три честных уровня вывода. Описание: «В этих классах ученики с приёмом прибавили 1,7 балла, остальные 0,9». Предположение: «Это указывает, что приём помогает, но группы малы, и использован один тест». Рекомендация: «Предлагаем повторить с обменом классов, прежде чем расширять». Избегайте причинных слов «доказывает» и «вызывает», если ваш дизайн не способен их выдержать.
К каждому выводу перечислите хотя бы одно другое объяснение и то, что вы сделали или можете сделать: равные исходные уровни, второй проверяющий, обмен классами. Слова учеников добавляют смысл, но подсчёт числа упоминаний темы показывает лишь, что было сказано, а не что это верно. Если данные неоднозначны, так и скажите: неоднозначный результат тоже полезен, ведь он подсказывает совету, что проверять дальше.
Примеры из класса
Один большой прирост
Ситуация. Дилноза в Самарканде видит, что среднее её группы в 6 классе выросло с 5,0 до 6,4, и радуется. Выписав прирост каждого ученика, она находит, что двое прибавили пять баллов, а остальные восемь меньше одного. Она приводит и медиану прироста и пишет, что приём, возможно, сильно помогает некоторым и лишь немного большинству.
Вывод. Смотрите на прирост каждого ученика: среднее может скрывать несколько больших скачков.
Старт с разных мест
Ситуация. Жасур в Бухаре сравнивает два пятых класса по тесту на десятичные дроби. В конце класс A набрал 7,1, класс Б 6,3. Затем он проверяет исходный уровень: A начал с 6,5, Б с 5,9. Приросты 0,6 и 0,4, разрыв гораздо меньше, чем показывали итоговые баллы, и он пишет об этом в отчёте.
Вывод. Сравнивайте приросты, а не итоговые баллы, когда группы начинали по-разному.
Подсчёт сказанного учениками
Ситуация. Малика в Ташкенте опрашивает шестерых учеников о парном чтении. Она помечает каждую заметку R (читаю плавнее), T (слишком долго) или S (стесняюсь читать вслух). R встречается в четырёх заметках, T в одной, S в двух. Она пишет «четверо из шести сказали, что читают плавнее», добавляет одну короткую цитату без имени и отмечает, что опрашивала только добровольцев.
Вывод. Подсчёт тем показывает, что было сказано; указание, кого опросили, показывает, насколько можно доверять.
Типичные ошибки
- Сообщать только среднее и никогда не смотреть на отдельных учеников.
- Рисовать столбчатую диаграмму с осью, начинающейся с меньшего из двух средних.
- Сравнивать итоговые баллы групп, которые начинали с разных уровней.
- Использовать «доказывает», «всегда» или «все» в выводе по двум малым группам.
Прочитайте данные исследования за четверть
- Откройте сборник: ОБРАЗЦОВЫЕ баллы до и после для 10 учеников в каждом из двух шестых классов (A с приёмом, Б как обычно), шесть заметок интервью и пустой лист анализа. (5 мин.)
- Пары (15 мин.): заполните столбцы изменения, затем найдите для каждого класса среднее до, среднее после, средний прирост, медиану после и число учеников, прибавивших 2, 1 и 0.
- Пары (10 мин.): нарисуйте на бумаге два графика: столбчатую диаграмму среднего прироста от нуля и точечный график приростов учеников. Сравните с графиком «обрезанная ось» из сборника и скажите, что он преувеличивает.
- Тройки (15 мин.): закодируйте шесть заметок интервью по темам и посчитайте. Затем перечислите три других объяснения результата и по одной проверке для каждого.
- Второе короткое задание, пары (10 мин.): напишите вывод в трёх силах (слишком сильный, честный, слишком слабый). Выберите честный и добавьте предложение о следующем шаге.
- Самостоятельно (10 мин.): начертите пустой лист анализа для СВОЕГО исследования (столбцы таблицы, показатели, графики) и запишите школьное задание из сборника.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Что добавил взгляд на прирост каждого ученика к двум средним?
- Какое другое объяснение беспокоит вас больше всего и как дешевле всего его проверить?
- Какие слова в вашем выводе вы бы убрали, если бы его читал скептически настроенный коллега?
Подумайте
- Случалось ли вам сообщать среднее, не взглянув на отдельных учеников?
- Какое утверждение в вашей работе может быть немного слишком сильным?
- Какое наименьшее дополнительное свидетельство сделало бы ваш результат убедительнее?
Попробуйте завтра
- Внесите данные апробации в таблицу по строке на ученика и посчитайте прирост каждого.
- Нарисуйте на миллиметровке столбчатую диаграмму двух средних от нуля и подпишите числа над столбцами.
- Запишите свой вывод на трёх уровнях (описание, предположение, рекомендация) и подчеркните тот, который будете использовать.
Дополнительные материалы и ссылки
Сведите в таблицу каждого ученика, сравнивайте прирост, рисуйте от нуля, считайте слова учеников и утверждайте только то, что допускают данные.