Другой курс ▾
Занятие 2. Критическое чтение обзоров исследований
Цель. Объяснять размер эффекта простыми словами, отличать корреляцию от причины и с помощью шести вопросов оценивать, подходит ли обзор исследования или утверждение с тренинга вашей школе.
Обзоры исследований доходят до учителей через слайды тренингов, статьи и доброжелательных коллег, и числа в них звучат точно. Точное число - ещё не надёжный ориентир для вашего 4 класса в Фергане. В этом уроке вы выходите за рамки размера эффекта простыми словами из ключевых идей: узнаете, что число оставляет за кадром, три обычные причины, по которым прирост может появиться без вины метода, и как правильно спросить, когда кто-то говорит «исследования показывают».
Ключевые идеи
Размер эффекта простыми словами
- Размер эффекта отвечает: насколько велик разрыв между двумя группами по сравнению с тем, насколько ученики и так различаются между собой?
- Один и тот же разрыв в 2 балла велик, когда почти все набирают похоже, и мал, когда баллы разбросаны от очень низких до очень высоких.
- Это не процент улучшившихся учеников. Сравнивайте размеры эффектов только при похожих тестах и учениках.
Корреляция - не причина
- Две вещи, идущие вместе, связаны, но не обязательно вызывают друг друга. Ученики, ходящие на занятия после уроков, набирают больше, но они могут быть и более мотивированы или иметь больше поддержки дома.
- Каждый раз проверяйте три объяснения: A вызывает B; B вызывает A; третья вещь вызывает оба.
- Чтобы заподозрить причину, нужно честное сравнение: группы, похожие в начале, и одно различие между ними.
Средние, контекст и кто говорит
- Обзор даёт среднее по многим исследованиям. Ваш 3 класс в сельской школе Ферганы может отличаться от учеников, предметов и лет в этих исследованиях.
- Проверьте, что измеряли (память или понимание?), как долго и не те ли же люди, что продавали идею, её и измеряли.
- Хороший обзор признаёт свои пределы. Будьте осторожны, когда уверенность абсолютна.
Шесть вопросов к любому утверждению и пример со стилями обучения
- 1 Кто были ученики? 2 С чем сравнивали? 3 Что и когда измеряли? 4 Насколько велика разница? 5 Похожа ли моя школа на их? 6 Кто это говорит и что он получает?
- Пример: «учите каждого ученика в его стиле обучения». Предпочтения у людей есть. Но обзоры исследований, например Пашлера и коллег, не нашли убедительных доказательств, что подгонка преподавания под стиль улучшает обучение.
- Лучшее соответствие - метод к содержанию: карта для географии, схема для круговорота воды, практика для навыка. Это помогает каждому ученику.
От «идут вместе» к «одно вызывает другое»
Что опускает одно число
Размер эффекта зависит от того, что и когда измеряли. Тест, написанный ровно по изученной теме, обычно показывает больший прирост, чем широкий итоговый тест. Короткое исследование может отличаться от длинного, а младшие ученики могут отзываться иначе, чем старшие. Поэтому два числа, выглядящие сопоставимыми, могут происходить из очень разных ситуаций. Крафт добавляет: при оценке результата важны также стоимость и возможность применить его во многих школах.
Поэтому хороший обзор говорит, кто, что и как долго, а не только сколько. Встретив число, спросите: чем измеряли, через какое время, на каких учениках? К сравнению чисел из разных исследований относитесь осторожно, пока эти три ответа не совпадут.
Три обычные причины прироста без причинной связи
Первая: группы могут различаться в начале; класс, пробовавший метод, уже был сильнее или мотивированнее. Вторая: время идёт, ученики улучшаются за четверть и при обычном преподавании, поэтому прирост «до и после» требует сравнения. Третья: новизна и усилия; учителя, пробующие новое, часто готовятся тщательнее, а ученики реагируют на сам факт перемены. Ни одна из причин не означает, что метод бесполезен; они означают, что результат пока не чист.
Честное сравнение отвечает на первые две, используя похожие группы, исходный уровень и одну меру. На третью отвечает время: остаётся ли прирост, когда новизна проходит, и могут ли обычные учителя получить его при обычной подготовке?
Примеры из класса
Репетиторы и оценки
Ситуация. В отчёте о ташкентских школах сказано, что ученики, ходящие к частным репетиторам, имеют более высокие оценки по математике. Родитель спрашивает Малику, стоит ли школе рекомендовать репетиторство. Малика перебирает три объяснения: репетиторство повышает оценки; репетиторов оплачивают семьи тех, кто и так учится хорошо; или и то и другое идёт от семей, ценящих школу. Она говорит родителю, что связь реальна, но отчёт не доказывает, что причина в репетиторстве, и советует бесплатную помощь с повторением.
Вывод. Проверьте A вызывает B, B вызывает A и третий фактор, прежде чем принять причину.
Узкий тест и широкий тест
Ситуация. Азиз в Бухаре пробует новый способ изучения дробей в 6 классе. Ученики намного лучше пишут его викторину в конце главы, но примерно так же, как параллельный класс, на районной контрольной по всему году. Он был готов сказать коллегам, что метод мощный. Вместо этого он сообщает оба результата: метод помог с изученным, а влияние на более широкую математику пока неизвестно.
Вывод. Тест, близкий к изученному, показывает больший прирост, чем широкий; сообщайте оба.
Обзор из другой страны
Ситуация. Жасур в Самарканде читает, что подход с малыми группами по четыре в среднем помог ученикам. В его классах по 38 учеников, длинная узкая комната и два учебника на троих. Он перечисляет то, чего из обзора узнать нельзя: размеры классов в исследованиях, возраст учеников и предметы. Он решает попробовать подход в группах по шесть в течение одного раздела и сравнить с параллельным классом.
Вывод. Средние берутся из других условий: спрашивайте, кого изучали, и подгоняйте план под свою комнату.
Типичные ошибки
- Читать размер эффекта как «процент улучшившихся учеников».
- Сравнивать числа исследований с разными тестами, возрастами или сроками.
- Принимать «исследования показывают», не спросив, кого изучали и с кем сравнивали.
- Отказываться от хорошей идеи из-за небольшого среднего в обзоре, не проверив, подходит ли она вашим ученикам.
Прочитайте три обзора
- В парах (10 мин.). Откройте сборник: часть A, две ОБРАЗЦОВЫЕ таблицы оценок. В обеих средняя разница 2 балла. Посмотрите на списки целиком и решите, какое сравнение показывает больший эффект, объясните одним предложением.
- Тройками (25 мин.). Часть B: три ОБРАЗЦА утверждений из исследований или тренингов. К каждому примените шесть вопросов и запишите, что можно сказать, а чего нельзя. Отметьте, где утверждение путает корреляцию и причину.
- Второе задание (10 мин.). Выберите одно утверждение и перепишите честно в двух предложениях, как сказал бы осторожный учитель завучу: что известно, что нет, что я попробую сначала.
- Вся группа (15 мин.): поделитесь переписанным. Какие слова сделали утверждение честнее (например, «как правило», «в этих исследованиях», «пока не знаем»)?
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Почему в части A одинаковая разница в 2 балла означала разное?
- Какой из шести вопросов вы чаще всего забываете задавать?
- Как сказать коллеге, что популярное утверждение слабое, не заставив его чувствовать себя глупо?
Подумайте
- Какое исследовательское утверждение вы повторяли коллегам, не проверив источник?
- Верили ли вы в стили обучения? Что вы делали иначе из-за этого?
- Какие группы ваших учеников могут отличаться от групп в типичном опубликованном исследовании?
Попробуйте завтра
- Услышав «исследования показывают», задайте три вопроса: кто, с чем сравнивали, чем измеряли.
- Возьмите два списка оценок ваших классов и посмотрите и на разрыв, и на разброс, прежде чем что-то говорить.
- Перепишите одно утверждение со слайда тренинга со словами «как правило» и «в этих исследованиях».
Дополнительные материалы и ссылки
Спрашивайте, насколько велик разрыв по сравнению с разбросом, показывает ли он причину и подходит ли вашей школе. Честные обзоры говорят «как правило».