Другой курс ▾
Занятие 1. Самооценка школы по рамке качества
Цель. Оценить школу по показателям качества с описанием уровней, собрать три вида свидетельств для каждого вывода, сверить оценки с критическим другом и написать краткое честное заявление о самооценке.
Самооценка настолько хороша, насколько хорошо вы читаете описания уровней и стоящие за ними свидетельства. Школы чаще терпят неудачу не потому, что у них нет рамки, а потому, что слова «большинство» и «некоторые» значат для разных людей разное, а собираются те свидетельства, которые проще всего найти. Это занятие даёт способы читать описания так же, как коллеги, и замечать искажения, из-за которых школа выглядит лучше, чем есть.
Ключевые идеи
Зачем нужна рамка
- Рамка качества перечисляет важные области школьной жизни и описывает, как выглядит каждый уровень. Тогда школа каждый год сравнивает себя с одними и теми же словами, а не с ощущениями. Реальные примеры: How Good Is Our School? 4 (Шотландия) и Looking at Our School 2022 (Ирландия).
- Курс 12.2 (Развитие школы на основе данных) учил читать данные. Здесь данные — лишь один из входов в суждение о целых областях: преподавании и учении, посещаемости и благополучии, руководстве, партнёрстве с семьями.
- Не копируйте, а адаптируйте. Опирайтесь на национальные рамочные требования к учебной программе и нормы министерства, берите структуру зарубежной рамки и выберите на год четыре-шесть показателей. Полная рамка слишком велика для одного цикла.
От свидетельств к уровню
- Для каждого показателя соберите три вида свидетельств: что мы видим (посещение уроков, тетради), что мы измеряем (оценки, посещаемость, итоги тестов) и что говорят люди (ученики, коллеги, родители). Один вид способен ввести в заблуждение.
- Выбирайте уровень по наилучшему соответствию: читайте описания сверху и спрашивайте, какое совпадает с большинством свидетельств. Самое слабое надёжное свидетельство не даёт оценить выше; один прекрасный урок уровня не создаёт.
- Запишите причину одним предложением и назовите свидетельства, например: «Уровень 3, потому что в 9 из 12 посещённых уроков была ясная цель, а в 22 из 30 тетрадей — комментарии о следующем шаге». Оценку без причины нельзя проверить.
Сверка и вопросы-вызовы
- Руководители склонны завышать оценку своих областей. Попросите критического друга, например коллегу другого предмета или соседней школы, прочитать свидетельства и поставить независимую оценку до сравнения.
- Используйте три вопроса-вызова: Каковы ваши свидетельства? Что изменило бы ваше мнение? Кто не согласился бы и что бы сказал? Оспаривайте свидетельства, а не человека.
- Если два оценщика расходятся на один уровень, посмотрите, какие свидетельства использовал каждый. Если на два уровня, почти наверняка смотрели на разное или по-разному читали описания; решите это до спора об уровне.
Заявление о самооценке
- Для каждого показателя напишите короткое заявление: уровень, две-три сильные стороны, одна-две области улучшения, использованные свидетельства и то, чего вы пока не знаете. Достаточно одной страницы на показатель.
- Самооценка нужна для улучшения. Если школа завышает оценку, чтобы понравиться отделу образования, план ничего не исправит. Честный уровень 2 с ясным следующим шагом полезнее раздутого уровня 4.
- Не разводите бумаги и используйте их повторно: те же заявления питают план улучшения (занятие 2) и годовой отчёт (занятие 5). Уважайте время учителей и не вносите в письменные заявления имена учеников и коллег.
Три вида свидетельств для одного вывода
Увиденное
Что мы наблюдаем
- Посещения уроков
- Тетради учеников
- Порядок в коридорах
Измеренное
Что мы считаем
- Посещаемость по дням недели
- Четвертные оценки
- Итоги тестов
Сказанное
Что говорят люди
- Опрос учеников
- Опрос коллег
- Замечания родителей
Чтобы «большинство» и «некоторые» значили одно и то же
В описаниях уровней используются слова количества: почти все, большинство, многие, некоторые, немногие. Два человека, читая «в большинстве уроков есть ясная цель», могут понимать 55 или 85 процентов. Прежде чем оценивать, договоритесь, что значит каждое слово, например «большинство» — не менее 8 из 12 посещённых уроков, а «почти все» — не менее 11 из 12. Запишите договорённость вверху листа оценки.
Затем читайте описание сверху вниз и остановитесь на первой фразе, которую свидетельства не подтверждают. Описания часто соединяют условия словом «и»: ученики получают обратную связь и используют её. Если верна только первая половина, уровень не достигнут. Пометка слов, которые вы не смогли доказать, сохраняет честность оценки и точно показывает, что улучшать.
Искажения, завышающие оценку
Эффект ореола позволяет одному сильному уроку окрасить всю картину. Эффект недавности делает последнее посещение весомее первых одиннадцати. Самоотобранные свидетельства, например родительское собрание, куда приходят заинтересованные семьи, похожи на выборку, но ею не являются. Четвёртое искажение институциональное: руководителю, написавшему план, трудно поставить ему низкую оценку.
Лекарства простые и дешёвые. Определите выборку до просмотра, например каждый третий урок в расписании. Привлеките двух оценщиков и сравните. Запишите, чего каждое свидетельство сказать не может. Пригласите критического друга, чья область не оценивается. Рабочий документ ОЭСР об оценке школ напоминает, что системы оценки сильно различаются, поэтому сначала выстройте доверие к собственному процессу.
Примеры из класса
Что значит «большинство» в Андижане
Ситуация. Завуч в Андижане и два руководителя предметов оценивают «в большинстве уроков ясная цель» по одним и тем же двенадцати посещениям. Один говорит: уровень 3, потому что в 7 уроках цель была. Другой: уровень 2, потому что «большинство» — не менее 9. Они останавливаются и договариваются: большинство — 8 из 12, почти все — 11 из 12. По этому правилу 7 из 12 — уровень 2, и на листе они пишут: «до уровня 3 не хватает одного урока».
Вывод. Договорённость о числах для слов количества снимает споры об уровне и показывает, как близко школа к следующему.
Последнее посещение в Намангане
Ситуация. В Намангане Дилноза оценивает преподавание по посещениям уроков. Одиннадцать посещений в сентябре и октябре были обычными, но последнее, в ноябре, было отличным, и именно его она помнит. Она говорит критическому другу Бобуру: «Я вижу сильное преподавание». Бобур просит показать все двенадцать записей. Подсчёт показывает ясную цель в 6 из 12. Дилноза меняет оценку с 4 на 2–3 и записывает выборку в заявление.
Вывод. Эффект недавности придаёт последнему наблюдению слишком большой вес; взгляд на всю запись это исправляет.
Обмен файлами между двумя самаркандскими школами
Ситуация. Две школы в Самарканде обмениваются анонимными файлами свидетельств по посещаемости и благополучию, убрав названия школ. Каждый директор оценивает чужой файл и сравнивает с оценкой владельца. Один директор видит, что другая школа поставила уровень 4, хотя с 4 из 11 хронически пропускающих не связывались. Владелец не считал неохваченных учеников свидетельством. Директора договариваются со следующей четверти добавлять такой подсчёт в каждый файл.
Вывод. Посторонний, читающий те же свидетельства, быстро замечает то, что владелец упустил.
Типичные ошибки
- Использовать слова вроде «большинство», не договорившись об их значении, а затем спорить об уровнях.
- Оценивать по свидетельствам, которые проще всего собрать, например по лучшим урокам или родителям, приходящим на собрания.
- Воспринимать вызов критического друга как нападение и защищаться вместо того, чтобы слушать.
- Копировать зарубежную рамку целиком, так что школа тратит год на бумаги.
Оцените, сверьте и напишите заявление
- Тройками (5 мин.): откройте набор материалов. Перед вами ОБРАЗЕЦ четырёхуровневой рамки с двумя показателями качества (таблица A) и файл свидетельств школы-образца на 520 учеников (таблица B). Решите, кто руководитель, кто критический друг и кто следит за временем. Во втором раунде роли меняются.
- Сначала в одиночку, затем в тройке (15 мин.): каждый молча оценивает оба показателя по листу оценки (таблица C): уровень, номера использованных свидетельств и одно предложение с причиной. Пока не обсуждайте. Затем сравните. Где расходитесь, назовите свидетельства и описание, с которым сопоставили.
- Тройка (15 мин.): согласуйте одну оценку по каждому показателю. Отметьте каждое свидетельство как сильное, среднее или слабое (это подсчёт, выборка или одно замечание?). Решите, какой показатель опирается на более тонкие свидетельства и что одно дополнительное свидетельство прояснило бы.
- Круг вопросов (10 мин.): две тройки обмениваются листами. Гости 5 минут задают три вопроса-вызова (Каковы свидетельства? Что изменило бы мнение? Кто не согласился бы?), затем так же поступают хозяева. Меняйте оценку, только если её поддерживают свидетельства.
- Часть B (15 мин.), в одиночку: напишите заявление о самооценке по ОДНОМУ показателю на бланке: уровень, две сильные стороны, одна область улучшения, использованные свидетельства, чего мы пока не знаем. Проверьте, что названы свидетельства, а не люди, и что слабость сказана прямо.
- Вся группа (10 мин.): двое зачитывают заявления вслух. Остальные отмечают одну фразу, основанную на свидетельствах, и одну, основанную на впечатлении, и предлагают, как исправить. Образец ответа сверьте в конце.
- В одиночку (15 мин.): запишите своё задание руководителя из набора: какой показатель своей школы вы оцените, какие три вида свидетельств соберёте, кто будет критическим другом и к какой дате принесёте заявление.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Где вы и коллега расходились больше всего: в свидетельствах или в прочтении описания?
- Каково было, когда вашу оценку оспаривали, и как сделать это безопасным в вашей школе?
- Какую часть своей школы вы, возможно, оцениваете слишком мягко и кто мог бы посмотреть свежим взглядом?
Подумайте
- Какой показатель качества, по мнению ваших учителей, важнее всего, а по мнению учеников?
- Какие свидетельства ваша школа никогда не собирает по очень важной области?
- Кто даст вам честный вызов и что облегчит им это?
Попробуйте завтра
- Запишите числа для «почти все», «большинство», «некоторые» в одну строку вверху следующего листа оценки и согласуйте их с коллегой.
- Выберите выборку уроков или тетрадей до просмотра, например каждую третью тетрадь в стопке, и запишите, сколько взяли.
- Попросите коллегу другого предмета оценить один показатель по вашим свидетельствам, затем сравните расхождения на одной странице.
Дополнительные материалы и ссылки
Оценивайте по наилучшему соответствию описаниям уровней, называйте три вида свидетельств для каждого вывода, приглашайте вызов от критического друга и пишите слабость прямо.