Другой курс ▾
Занятие 1. Чтение исследований в образовании: что сделано и что можно утверждать
Цель. Читать исследование или отчёт по пяти вопросам, называть его дизайн, выборку и измерения и соотносить утверждение с тем, что могут подтвердить данные.
Вам гораздо чаще дают отчёты и заголовки, чем вы читаете исследования. Методист приносит листовку, район присылает резюме, газета хвалит программу. Ваша задача редко состоит в том, чтобы быть исследователем; она в том, чтобы задать несколько спокойных вопросов, прежде чем школа начнёт действовать. Это занятие даёт вам такие вопросы и способ сохранять свои слова такими же скромными, как данные за ними.
Ключевые идеи
Каждое исследование отвечает на один вопрос
- Курс 11.5 «Исследование в классе» учил проводить небольшое исследование; этот курс учит оценивать чужие. Начните с вопроса: что хотели узнать авторы и что с чем сравнивали?
- Читайте в разумном порядке: заголовок и аннотация, затем методы, таблица результатов, затем ограничения. Обсуждение читайте последним: именно там авторы наиболее оптимистичны.
- Заголовок, листовка или краткое изложение из министерства — это утверждение об исследовании. Попросите показать исследование или хотя бы его дизайн, прежде чем повторять утверждение в школе.
Дизайны простыми словами
- Испытание со случайными группами: жребий решает, кто получает подход. Сравнение без жребия: две группы выбраны иначе. До и после: одну группу измеряют дважды. Опрос: многих спрашивают один раз. Кейс или интервью: немногие люди, глубоко.
- Нет дизайна, лучшего для всего. Испытание сильно для вопроса «сработало ли это здесь?», интервью сильны для «как учителя это пережили и почему?». Спросите, соответствует ли дизайн вопросу.
- Ваши собственные дизайны из 11.5 (до и после, два класса, ротация) лежат на той же карте, так что их типичные слабости вам уже известны.
Кто участвовал и что измеряли
- Выборка: сколько, как выбраны, где и кто выбыл. Добровольцы, один город или одна сильная школа дают результаты, которые могут не описывать ваших учеников.
- Малая выборка не бесполезна, но результат шаткий; большая выборка не из той группы надёжна, но про других. Важно и то и другое.
- Измерения: тест, опрос, мнение учителей или посещаемость? Кто, когда измерял и согласился бы второй проверяющий? Это валидность и надёжность, знакомые по 11.5.
Лестница утверждений
- Четыре ступени: ОПИСЫВАЕТ (что произошло), СВЯЗАНО (меняется вместе), ВЕРОЯТНО ВЫЗЫВАЕТ (честное сравнение, другие объяснения проверены), РАБОТАЕТ ДЛЯ КОГО (и где, и по какой цене).
- Подбирайте глагол к ступени. «Связано с» не то же, что «улучшает». Результат «до и после» в одном классе редко поднимается выше «выросло за время».
- Пример корреляции: ученики, у которых дома больше книг, часто читают лучше, но за обоими могут стоять деньги, время и образование родителей. Всегда спрашивайте, что ещё могло это объяснить.
Чтение исследования в пять шагов
Читайте методы до результата
Многие читатели перескакивают к выводу, потому что он короткий и уверенный. Правда в разделе методов. Ищите три простых факта: кого с кем сравнивали, как сформированы группы и что именно измеряли и когда. Если группы сложились по выбору, спросите, кто и почему выбирал. Если измерением было мнение, помните, что мнение и обучение это разные вещи.
Проверьте и срок. Четырёхнедельное исследование чтения мало говорит о том, что будет через год. И спросите, кто выбыл. Если слабейшие ученики покинули исследование, итоговое среднее выглядит лучше реальной картины.
Связь тоже может быть полезна
Корреляция не причина, но и не бесполезна. Если отсутствие растёт в недели сбора хлопка, это подсказывает руководителю, где смотреть и когда предлагать поддержку, хотя сбор урожая сам по себе не объясняет каждого пропуска.
Используйте связи, чтобы решить, где исследовать или куда направить помощь, а не чтобы обещать, что изменение одного изменит другое. Осторожные формулировки сделают это за вас: «связано с», «как правило», «в этих школах». Слова «вызывает» и «доказывает» принадлежат верхним ступеням лестницы утверждений.
Примеры из класса
График смен
Ситуация. Жасур в Фергане видит график: в школах с одной утренней сменой оценки в 9 классе выше, чем в школах с двумя сменами. Коллега говорит: «Отменим вторую смену». Жасур спрашивает, какие школы в каждой группе. Школы только с утренней сменой находятся в центре города и имеют больше квалифицированных кадров. Он просит в районе оценки каждой школы за прошлый год и видит, что разрыв был и раньше.
Вывод. Прежде чем действовать по разрыву между группами, спросите, чем ещё они различаются.
Наставники-добровольцы
Ситуация. Малика в Ташкенте читает отчёт о том, что схема наставничества повысила уверенность учителей. Участвовали только подавшие заявку учителя, а уверенность измеряли формой, которую они заполняли сами. Она отмечает, что увлечённые учителя могут сообщать о высокой уверенности и без схемы. Она решает предложить на следующий год группу сравнения из не подавших заявку до расширения схемы.
Вывод. Добровольцы и самооценка ограничивают то, что может сказать результат; назовите оба фактора, прежде чем повторять утверждение.
Двадцать учеников, общенациональное утверждение
Ситуация. Азиз в Самарканде находит статью по интервью с двадцатью учениками одного 8 класса: «ученики в Узбекистане не любят групповую работу». Интервью богатые и честные. Он решает цитировать статью за то, что она показывает об этих двадцати учениках, и за вопросы, которые она подсказывает. Он также записывает вопрос, который ставит статья, чтобы его позже проверил более крупный опрос.
Вывод. Качественная работа хорошо объясняет опыт; не растягивайте её на всю страну.
Типичные ошибки
- Читать только аннотацию и обсуждение, где утверждение звучит сильнее всего.
- Считать связь двух вещей доказательством того, что одна вызывает другую.
- Целиком отвергать небольшое или несовершенное исследование вместо того, чтобы сказать, что оно может и не может показать.
- Повторять заголовок на педсовете, не открыв источник.
Оцените шесть кратких описаний исследований
- Откройте сборник: шесть ОБРАЗЦОВЫХ кратких описаний (придуманы для практики, это не реальные исследования), карточку оценки и лестницу утверждений. Тройки (5 мин.): прочитайте вместе пять вопросов карточки.
- Тройки (20 мин.): оцените описания A, B и C на карточке: дизайн, проблема выборки, ступень лестницы и одно предложение, переписывающее заголовок по данным.
- Две тройки (10 мин.): обменяйтесь и быстро оцените D, E и F, затем сравните ступени с другой тройкой. Спорьте о различиях, пока не назовёте факт, который решает.
- Часть Б, пары (10 мин.): принесите одно реальное утверждение из вашей школы (листовку, материал тренинга, краткое изложение из министерства или новость). Примените пять вопросов к его источнику или к тому, что вы о нём знаете, и перечислите, что ещё нужно увидеть.
- Вся группа (10 мин.): ведущий зачитывает ключ к одному описанию. Какую проблему выборки легче всего было упустить?
- Самостоятельно (5 мин.): запишите задание руководителя на неделю из сборника и договоритесь, кто в школе увидит одностраничный результат.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Какой заголовок изменился сильнее всего, когда вы переписали его по данным?
- Когда связь двух вещей полезна руководителю школы, даже если это не причина?
- По какому из утверждений, которые вы слышите на педсоветах, вы теперь первым делом попросили бы показать исследование?
Подумайте
- Какой отчёт, листовка или утверждение тренинга в вашей школе повторяли чаще, чем проверяли?
- Что должен показать коллега, чтобы вы изменили мнение о любимой практике?
- Как помочь коллегам ставить утверждение под вопрос, чтобы это не воспринималось как нападение?
Попробуйте завтра
- Возьмите одно утверждение этой недели и запишите на карточке его вопрос, дизайн, выборку, измерение и ступень.
- Замените один сильный глагол в своём отчёте («доказывает», «улучшает») глаголом, подходящим к данным.
- Доброжелательно спросите коллегу «откуда мы это знаем?» об одной практике и запишите ответ.
Дополнительные материалы и ссылки
Задавайте каждому исследованию пять вопросов: что спрашивали, кто участвовал, что измеряли, какое утверждение делается и подходит ли оно моим ученикам. Затем подберите глагол к ступени лестницы.