Другой курс ▾
Занятие 2. Взвешивание данных и проверка политического документа
Цель. Взвешивать данные простыми словами с помощью уровней доказательств, систематических обзоров и размера эффекта и оценивать политический документ по утверждениям: подтверждение, соответствие, стоимость.
Не все данные весят одинаково, и уверенный документ не то же, что хорошо обоснованный. Руководителей просят согласиться на программы, покупки и правила на основании листовки или речи. Это занятие даёт простые способы взвешивать то, что вам показывают: насколько можно доверять исследованию, что добавляет обзор, что значит число на практике и о чём спросить автора.
Ключевые идеи
Лестница доказательств и её пределы
- Грубый порядок от слабого к сильному для вопроса «сработало ли?»: мнение или одна история, единичное «до и после», сравнение без жребия, испытание с жребием, много испытаний в систематическом обзоре.
- Чем выше, тем лучше исключаются другие объяснения. Но лестница это ориентир, а не закон: аккуратное сравнение может быть лучше небрежного испытания.
- Натли, Пауэлл и Дэвис (Nesta, 2013) утверждают, что единого рейтинга для всех вопросов нет; что считать хорошим доказательством, зависит от вопроса и цели. Интервью объясняют «почему» и «как», чего не могут испытания.
Систематические обзоры и размер эффекта
- Систематический обзор до начала фиксирует вопрос, поиск и правила качества, затем объединяет находки подходящих исследований. Метаанализ складывает числа в одно среднее. Обычный литературный обзор может тихо выбирать то, что удобно автору.
- Спрашивайте о любом обзоре: сколько исследований, насколько хороших, откуда, чем они различаются? Исследования со скучными результатами публикуют реже (смещение публикаций), и это может приукрашивать подход.
- Размер эффекта ставит различия на одну шкалу. EEF Toolkit переводит его в месяцы прогресса и оценивает доверие замками (курс 11.4). Относитесь к этому как к ориентирам для сравнения, а не к обещаниям для вашего класса.
Выгода и соответствие
- Один лишь эффект не решает. Сравнивайте стоимость в деньгах И во времени учителей и то, как скоро видны результаты. Доклад Всемирного банка «Smart Buys» делит варианты для стран с низким и средним доходом на отличные, хорошие, многообещающие и плохие покупки.
- Один из главных уроков доклада: покупка оборудования без обучения учителей или улучшения управления школой часто не улучшает обучение. Проверяйте, что идёт вместе с покупкой.
- Соответствие: данные из другой страны или возраста — повод попробовать, а не принять. Спросите, что отличается: размер класса, язык обучения, учебник, подготовка учителей, бюджет.
Пять проверок любого политического документа
- 1 КТО написал и зачем (спонсор, продавец, министерство, исследователь)? 2 НА КАКОЙ вопрос отвечает? 3 КАКИЕ данные приведены и можно ли их открыть? 4 ВЫТЕКАЕТ ли рекомендация из этих данных? 5 ПОДХОДИТ ли это нашему контексту и бюджету?
- Тревожные признаки: одно исследование как доказательство, только истории успеха, «все школы» без цифр, нет затрат, нет рисков, цифры без источника и утверждения в резюме, которых нет в основном тексте.
- Оценивайте каждое утверждение отдельно: подтверждено, частично, не подтверждено или неясно. Затем напишите один вопрос, который изменил бы ваше мнение. Документ редко бывает целиком хорошим или плохим.
Лестница для вопроса «сработало ли?»
Что делает и чего не делает систематический обзор
Представьте инспектора, который заранее решает, какие классы посетить, как их оценивать и что считать хорошим, затем посещает все и записывает увиденное. Систематический обзор работает так же с исследованиями. Поскольку правила заданы до поиска, труднее выбирать только исследования, согласные с автором.
Но обзор не лучше исследований в нём. Спросите, сколько их, насколько они хороши, из каких стран и сильно ли различаются. Если большинство малы, коротки или из одной страны, скажите об этом, когда сообщаете, что «обзор показал».
Числам нужны единицы и цена
Размер эффекта или «три месяца прогресса» это сравнение, а не обещание. Он описывает среднее по многим классам. В вашей школе тот же подход может дать больше или меньше в зависимости от того, как его проводят и кто ученики.
Всегда ставьте эффект рядом со стоимостью. Два подхода с одинаковым результатом не равны, если один берёт десять минут учителя в день, а другому нужны новое оборудование и неделя обучения. Доклад Всемирного банка задаёт тот же вопрос на национальном уровне: какие варианты дают больше обучения на единицу денег?
Примеры из класса
Слайды тренера
Ситуация. Тренер приезжает в Бухару и показывает слайд: «Применяется в 40 странах». Завуч Дилноза спрашивает: «Применяется или доказано, что работает?» Тренер не может ответить. Дилноза записывает три вопроса: что сравнивали, в каких странах и сколько это стоит на школу. Она вежливо отправляет их и ждёт письменных ответов, прежде чем что-либо подписывать.
Вывод. Применение не доказывает эффект; запросите сравнение и стоимость.
Два недорогих варианта
Ситуация. Кластер в Самарканде сравнивает два способа помочь слабым читателям. Вариант A, парное чтение, занимает 15 минут в день и не требует денег. Вариант B это лицензия на программу с оплатой за ученика. Резюме признаёт полезными оба. Жасур отмечает, что A вписывается в расписание и бюджет, а B требует компьютерного класса, которого нет в большинстве школ, и предлагает пилот A.
Вывод. Сравнивайте варианты по эффекту, стоимости в деньгах и минутах и соответствию, а не только по эффекту.
Обзор из одной страны
Ситуация. Малика читает обзор 30 исследований в пользу подхода к домашним заданиям. Она видит, что 27 исследований из одной страны, с большими хорошо финансируемыми классами, не похожими на её. Она говорит совету: «В тех исследованиях подход в среднем помогал; для наших школ его нужно сначала опробовать».
Вывод. Называйте пределы обзора в том же вздохе, что и его результат.
Типичные ошибки
- Считать верхнюю ступень лестницы автоматически верной для любого вопроса.
- Приводить «месяцы прогресса» без стоимости и надёжности данных.
- Верить обзору потому, что он большой, не спросив, что и кто внутри.
- Принимать «исследования показывают», когда никто не может назвать исследование.
Проверьте политический фрагмент по утверждениям
- Откройте сборник: ПРИДУМАННЫЙ политический фрагмент из двух абзацев с восемью пронумерованными утверждениями и таблицу утверждений. Тройки (5 мин.): прочитайте фрагмент один раз, ничего не отмечая.
- Тройки (20 мин.): по каждому утверждению отметьте «подтверждено», «частично», «не подтверждено» или «неясно», дайте причину в нескольких словах и запишите один вопрос автору. Используйте пять проверок.
- Две тройки (10 мин.): сравните таблицы. По каждому различию найдите факт во фрагменте, который решает. Не усредняйте; спорьте, пока одно прочтение не победит.
- Часть Б, тройки (10 мин.): заполните таблицу-светофор для трёх вариантов из сборника (данные о влиянии, доверие, стоимость в деньгах и минутах, соответствие). Выберите, какой вариант проводить первым, и скажите, что это изменит.
- Вся группа (10 мин.): ведущий читает ключ к утверждениям 1, 4 и 7. Какие словесные уловки ваша тройка пропустила, например «до», «все», «показывает» или «доказывает»?
- Самостоятельно (5 мин.): выберите реальный документ для оценки в задании руководителя и отметьте, кто просмотрит с вами таблицу.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Какое утверждение при первом чтении казалось самым сильным, а после проверок самым слабым?
- Как вежливо сказать «пока не подтверждено» сотруднику министерства или приглашённому тренеру?
- Когда правильно действовать на слабых данных и какие меры предосторожности добавить?
Подумайте
- Какая политика или предложение обучения за последние два года были приняты в основном из доверия к докладчику?
- Кто в вашем окружении мог бы читать исследование вместе с вами и честно говорить о его слабых местах?
- Что значит «достаточно хорошие данные» для небольшого обратимого пилота и для закупки по всему району?
Попробуйте завтра
- Возьмите одно утверждение из имеющегося документа и карандашом отметьте его данные на лестнице из пяти ступеней.
- Запишите стоимость одного понравившегося подхода в деньгах И в минутах учителя в неделю.
- Напишите и отправьте автору один вопрос, который сильнее всего изменил бы ваше мнение.
Дополнительные материалы и ссылки
Уровни доказательств — ориентир, обзоры хороши настолько, насколько хороши их исследования, а эффект нужно читать вместе со стоимостью и соответствием. Оценивайте каждое утверждение документа отдельно и задавайте один вопрос, который изменил бы ваше мнение.