Другой курс ▾
Занятие 2. Инструменты, валидность и надёжность
Цель. Выбрать и составить простые инструменты (короткий тест, рубрику, интервью, наблюдение), проверить их валидность и надёжность простыми способами и апробировать до исследования.
Исследование может быть идеально спланировано и всё равно вводить в заблуждение, если инструменты плохи. Тест, отчасти измеряющий чтение, рубрика, которую двое проверяющих читают по-разному, или интервью, подсказывающее ученикам ответы, тихо искажают картину. Хорошая новость: простые проверки, апробация и второй проверяющий ловят большинство проблем за один день и стоят лишь немного времени коллеги.
Ключевые идеи
Подберите инструмент к вопросу
- Короткий ТЕСТ показывает, что ученики умеют. РУБРИКА оценивает качество более длинной работы: абзаца, отчёта. ИНТЕРВЬЮ показывает, как и почему ученики думают. НАБЛЮДЕНИЕ показывает, что происходит на уроках.
- Используйте два вида на один вопрос, например тест для результата и интервью для причин. Если оба указывают в одну сторону, находке можно доверять больше.
- Больше не значит лучше. Два-три инструмента, которыми вы справитесь за реальную четверть, лучше шести, которые не закончить.
Хороший короткий тест
- От восьми до двенадцати заданий, не более 15 минут, каждое связано с одним, чему учили, с письменным ключом и одним ясным верным ответом.
- До и после не давайте точно тот же лист, если ученики его запомнят. Используйте два варианта с другими числами, но теми же умениями и той же сложностью.
- Избегайте теста, настолько лёгкого, что все получают максимум, или настолько трудного, что все почти ничего: тогда никто не сможет показать изменение.
Рубрики, интервью, наблюдение
- РУБРИКА: три-четыре уровня, каждый описан тем, что можно УВИДЕТЬ в работе (например «приводит причину и пример»), а не словами «хорошо» или «слабо».
- ИНТЕРВЬЮ: четыре-пять открытых вопросов, десять минут, пять-восемь разных учеников (сильный, средний, тихий). Спрашивайте «Что было иначе?», а не «Разве это не помогло?» Короткие заметки пишите сразу.
- НАБЛЮДЕНИЕ: выберите одно, что считать (например учеников, отвечающих вслух за 5 минут), используйте лист подсчёта и наблюдайте в одном и том же месте урока. Лучше, если наблюдает коллега.
Валидность и надёжность простыми словами
- ВАЛИДНОСТЬ спрашивает: измеряет ли инструмент то, что я действительно хочу измерить? Тест по дробям с длинными предложениями измеряет ещё и чтение. Сверьте каждое задание с тем, чему учили и что хотите узнать.
- НАДЁЖНОСТЬ спрашивает: получу ли я похожий результат при повторе или проверке другим человеком? Проверьте просто: коллега проверяет 10 работ по вашему ключу или рубрике, а вы считаете, как часто совпали.
- Апробируйте до настоящего исследования: опробуйте инструмент на нескольких учениках вне исследования. Отметьте неясные задания, нужное время и каждое расхождение проверяющих и исправьте. Только потом начинайте исходный замер.
Какой инструмент отвечает на какой вопрос
Короткий тест
что ученики умеют
- 8-12 заданий, 15 минут
- Ключ с одним верным ответом
- Две параллельные формы
Рубрика
качество длинной работы
- 3-4 уровня
- Описывайте видимое
- Двое проверяют 10 работ
Интервью / наблюдение
как и почему
- 4-5 открытых вопросов
- Считайте одно поведение
- Сначала апробируйте
Задания, формулировки и скрытое умение
Каждое задание теста требует больше одного умения. Текстовая задача просит дроби, но также чтение, терпение к длинному тексту и знание контекста. Если цель - узнать о дробях, сведите язык к необходимому: короткие предложения, знакомые ситуации, числа, с которыми ученики справятся. Если цель - увидеть, умеют ли ученики применять дроби в реальной ситуации, чтение входит в измеряемое, и об этом надо сказать.
Прочитайте каждое задание и спросите: что должен знать или сделать ученик, чтобы справиться, и это ли именно я преподавал и хочу узнать? Уберите то, что не проходит: ещё не изученное содержание, хитрые формулировки, два верных ответа. Затем попросите коллегу пройти тест как ученика и сказать, где он колебался.
Как сделать проверку стабильной
Надёжность - это в основном проверка. Короткие ответы с ключом стабильны, если в ключе перечислены допустимые ответы. Более длинные работы стабильнее с рубрикой, уровни которой описывают видимое, и с двумя-тремя опорными работами, показывающими уровни на практике. Перед проверкой всего набора двое проверяющих независимо оценивают одни и те же десять работ и сравнивают.
Посчитайте два показателя: как часто вы совпали точно и как часто в пределах одного уровня. Если в пределах уровня совпадений много, а точных мало, описания уровней расплывчаты; обсудите работы с расхождением и перепишите описания, добавив наблюдаемое. Делайте это до исходного замера, потому что изменение рубрики после начала исследования ломает сравнение.
Примеры из класса
Хлопок в задаче
Ситуация. Жасур в Бухаре пишет тест по дробям для 6 класса; в задаче про сбор хлопка длинное вступление. При апробации пятеро учеников, умеющих складывать дроби в тетради, ошибаются в задаче, и коллега говорит, что дело в чтении. Он сокращает текст до двух предложений, сохраняет контекст, и те же ученики справляются.
Вывод. Валидность: задание должно измерять дроби, а не длину текста.
Двое учителей, одна рубрика
Ситуация. Дилноза и Малика в Ташкенте оценивают десять абзацев пятиклассников по четырёхуровневой рубрике и совпадают точно в четырёх из десяти, в пределах уровня в девяти. Они обсуждают абзац 6, где разошлись на два уровня, и видят, что «приводит причину» неясно. Добавляют «есть предложение с потому что» и оценивают новые десять работ: в семи совпали точно.
Вывод. Надёжность растёт, когда описание говорит, что искать; проверьте снова после исправления.
Наводящий вопрос
Ситуация. Азиз в Фергане собирается спросить учеников: «Разве разминка не помогла вам запомнить?» При пробном интервью с прошлогодним классом все пятеро отвечают «да» без подробностей. Наставник предлагает: «Что было иначе в начале уроков, если что-то было?» Теперь ответы разные, а один ученик говорит, что разминка казалась поспешной.
Вывод. Открытые вопросы дают настоящие ответы; наводящие возвращают только мнение исследователя.
Типичные ошибки
- Давать до и после один и тот же лист, так что ученики просто помнят ответы.
- Делать тест настолько лёгким или трудным, что никто не может показать изменение.
- Менять формулировки рубрики после проверки исходного замера.
- Задавать наводящие вопросы на интервью и затем считать согласие доказательством.
Составьте и апробируйте набор инструментов
- Откройте сборник: ОБРАЗЦОВЫЙ вопрос, черновик теста по дробям для 6 класса со скрытыми недостатками, оценки двух проверяющих по 10 абзацам и четыре вопроса интервью. (5 мин.)
- Пары (15 мин.): заполните таблицу соответствий: для каждого из трёх исследовательских вопросов выберите два инструмента и скажите, что покажет каждый. Затем сделайте то же для СВОЕГО вопроса.
- Пары (15 мин.): разберите черновик теста по заданиям. Найдите не менее четырёх проблем валидности или ясности (нагрузка чтением, не изученное содержание, два верных ответа, слишком просто, нельзя стабильно проверить) и перепишите два задания.
- Тройки (15 мин.): проверка надёжности. Посчитайте, сколько раз два проверяющих совпали точно и в пределах одного уровня по 10 абзацам. Найдите самое большое расхождение и перепишите два описания уровней так, чтобы третий человек оценил одинаково.
- Второе короткое задание, пары (10 мин.): перепишите четыре наводящих вопроса интервью как открытые и решите, каких пять-восемь учеников пригласите и почему.
- Самостоятельно (5 мин.): перечислите свои инструменты, кто и когда их апробирует; запишите школьное задание из сборника.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Какой недостаток черновика теста мог бы ввести вас в заблуждение в вашем собственном тесте?
- Что вам сказал подсчёт согласия и что вы изменили в рубрике?
- Какой инструмент вашего исследования самый слабый и как вы усилите его до первой недели?
Подумайте
- Случалось ли вам делать вывод по тесту, который измерял не то, что вы думали?
- Кто мог бы быть вашим вторым проверяющим и что вы ему дадите?
- Сколько инструментов вы реально потянете за обычную четверть?
Попробуйте завтра
- Дайте одно черновое задание коллеге как ученику и отметьте, где он колеблется.
- Проверьте пять работ дважды с разницей в день и посчитайте, как часто две оценки совпали.
- Перепишите два вопроса интервью так, чтобы на них нельзя было ответить «да» или «нет».
Дополнительные материалы и ссылки
Два хорошо подобранных инструмента, проверенных на то, что они измеряют, и на стабильность проверки, апробированные до первой недели.