Другой курс ▾
Занятие 2. Пилот ИИ-инструмента: небольшой план оценки
Цель. Спроектировать четырёхнедельный пилот одного способа использования ИИ с двумя-четырьмя коллегами: исходный уровень, две-три простые меры, правило данных, правило остановки и офлайн-запасной вариант; решить — внедрить, адаптировать или остановить.
Многие инструменты попадают в школы, потому что кому-то понравилась демонстрация, и остаются, потому что никто не спросил, помогли ли они. Небольшой пилот даёт вежливый способ это выяснить. Он защищает учеников, потому что ошибка затронет два класса, а не всю школу, и защищает коллег, потому что решение опирается на то, что произошло в ваших классах. Это занятие идёт дальше ключевых идей: как выбрать узкий вопрос и меры и как читать малые неаккуратные числа, не обманывая себя.
Ключевые идеи
Зачем сначала пилот
- Пилот небольшой, ограниченный по времени и обратимый. Он отвечает на один вопрос до того, как школа потратит деньги, время и доверие.
- Хорошая демонстрация или увлечённый коллега — не доказательство. Большинство инструментов встречается в классе с медленным интернетом, разными языками и 35 учениками.
- Ограничьтесь двумя-четырьмя учителями и примерно четырьмя неделями. Большие пилоты дороже и редко лучше продуманы.
Карточка пилота
- Один вопрос, например: «Сокращает ли инструмент время подготовки текстов трёх уровней без потери качества?»
- Кто и где: какие учителя, какие классы, какие даты. Плюс правило данных (ничего об учениках с именами не вводится) и офлайн-запасной вариант.
- Две-три меры и правило остановки: например, остановиться сразу, если серьёзная ошибка дошла до учеников или проверка занимает больше времени, чем написание вручную.
Исходный уровень и честные данные
- До начала зафиксируйте, как обстоят дела: затраченные минуты, качество последних текстов, сколько учеников справились с билетом на выходе. Без исходного уровня можно сказать лишь «казалось лучше».
- Учтите и затраты: время на дополнительную проверку, найденные ошибки и голос учеников (билет на выходе из трёх вопросов). Добровольцы обычно энтузиасты, поэтому укажите, кто участвовал.
- Малые числа дают сигналы, а не доказательства. Новый инструмент сначала вдохновляет, поэтому смотрите на недели 3 и 4, а не на первую.
Решайте, сообщайте, защищайте людей
- Завершите одним из трёх решений: ВНЕДРИТЬ (с условиями), АДАПТИРОВАТЬ (изменить и проверить снова) или ОСТАНОВИТЬ. «Остановить» — хороший результат: школа избежала неудачной покупки.
- Напишите отчёт на странице с цифрами, проблемами и решением и обсудите его на 20-минутной встрече. Не называйте учеников и не оценивайте коллег.
- Сообщайте родителям, когда ученики будут пользоваться инструментом, и следуйте школьным правилам о согласии. У каждого шага должен быть офлайн-запас, чтобы обучение не останавливалось.
Четырёхнедельный пилот
Узкий вопрос и честные меры
На вопрос «Работает ли инструмент?» ответить слишком трудно. На вопрос «Сокращает ли он время подготовки текстов для чтения трёх уровней для 5 класса без снижения языкового качества?» можно ответить за четыре недели. Выбирайте меры, которые занятый учитель запишет за две минуты: минуты подготовки с проверкой, число найденных ошибок, простой чек-лист качества для одного образца и билет на выходе из трёх вопросов без имён.
Не заявляйте о влиянии на результаты тестов через четыре недели: слишком много всего меняется одновременно. Заранее договоритесь, что считать хорошим результатом, например «не менее 10 минут экономии на набор и не более двух ошибок на набор». Запись этого до начала не даёт всем подгонять цель после того, как данные увидены.
Как читать малые неаккуратные числа
С двумя учителями и несколькими классами ничего не доказать; можно увидеть сигналы. Смотрите на картину по неделям, а не только на среднее. Время часто растёт в первую неделю, пока люди осваивают инструмент, а затем падает. Спросите, что ещё изменилось: каникулы, неделя экзаменов, новый класс. Спросите, кто пошёл добровольно, потому что увлечённые учителя могут получить результаты, которых не получат другие.
Рядом с числами ставьте голоса. Комментарий ученика «текст читать легче» или заметка учителя «узбекские предложения звучали неестественно» объясняют то, чего числа не могут. Затем выберите одно из трёх решений: внедрить с условиями, адаптировать и проверить снова или остановить. Скажите, что остаётся неизвестным и кто проверит это в следующей четверти.
Примеры из класса
Первая неделя стоит дороже
Ситуация. Дилноза и Азиз пилотируют ИИ-инструмент для текстов для чтения в двух школах Самарканда. Исходный уровень — 40 минут на набор. В первую неделю им нужно 55 минут, потому что они учатся спрашивать и проверять. К третьей неделе нужно 25. Если бы директор смотрел только на первую неделю, инструмент бросили бы. Недельный журнал показал настоящую картину.
Вывод. Смотрите на тенденцию по неделям; первая неделя часто скрывает реальную картину.
Каникулы посередине
Ситуация. Малика пилотирует генератор тестов в 7 классе в Фергане. На третьей неделе каникулы Навруза сокращают уроки, ученики возвращаются усталыми, и их билеты на выходе проседают. Она не винит инструмент. Она отмечает каникулы в журнале и сравнивает недели 1, 2 и 4. В её отчёте сказано, что показывают данные и что неопределённо.
Вывод. Назовите другие события, которые могут объяснить числа, прежде чем хвалить или винить инструмент.
Пилот, который остановил сам себя
Ситуация. В одной бухарской школе у пилота ИИ-инструмента для обратной связи было правило остановки: остановиться сразу, если серьёзная ошибка дойдёт до учеников. На второй неделе в черновике комментария оказалась неверная историческая дата, и его почти отправили домой. Двое учителей остановились, написали отчёт на странице, и директор их поблагодарил. Школа избежала покупки, о которой пожалела бы.
Вывод. Правило остановки превращает неудачный пилот в полезное решение.
Типичные ошибки
- Выбирать вопрос настолько широкий, что ни одна мера не ответит на него.
- Начинать без исходного уровня, а затем опираться на ощущения от инструмента.
- Менять цель после того, как увидены данные.
- Учитывать только увлечённых добровольцев и забывать сказать, кто участвовал.
Исправьте пилот, прочитайте данные
- Откройте сборник упражнений: ОБРАЗЕЦ «План А» — слабый план пилота ИИ-инструмента для текстов для чтения в школе № 21 (3 мин.).
- В парах (12 мин.): найдите не менее пяти слабых мест плана А. Назовите отсутствующие исходный уровень, меру, правило данных, правило остановки и запас.
- В парах (13 мин.): перепишите план на пустой карточке пилота: один вопрос, кто и где, четыре недели, две-три меры, правило данных, правило остановки, запас.
- В тройках (12 мин.): прочитайте таблицу результатов за четыре недели (ОБРАЗЕЦ). Скажите, что данные показывают и чего не показывают, и выберите ВНЕДРИТЬ, АДАПТИРОВАТЬ или ОСТАНОВИТЬ с одним условием.
- Второе короткое задание (10 мин.): проведите учебную 10-минутную встречу по принятию решения по сценарию из сборника. Один ведёт, другой докладывает, третий — директор, спрашивающий «ну так хорошо или нет?».
- Самостоятельно (5 мин.): запишите школьное задание из сборника.
Фасилитатор проведёт вас через это задание на самом занятии.
Вопросы для обсуждения
- Какое слабое место плана А чаще всего встречается в реальных школьных проектах?
- Чего данные не могли сказать и что вы собрали бы в следующие четыре недели?
- Как вы объяснили «адаптировать» директору, который хотел «да» или «нет»?
Подумайте
- Какое использование ИИ в вашей школе заслуживает пилота, прежде чем оно распространится?
- Что заставило бы вас остановить пилот раньше срока?
- Чьего голоса не хватает в вашей обычной оценке новых инструментов?
Попробуйте завтра
- Напишите один узкий вопрос пилота для способа использования ИИ, который коллега уже пробует.
- Зафиксируйте исходный уровень за неделю: минуты, один образец работы и билет на выходе из трёх вопросов.
- Письменно договоритесь, какой результат приведёт к решению внедрить, адаптировать или остановить, до первого дня.
Дополнительные материалы и ссылки
Пилотируйте один вопрос с исходным уровнем, двумя-тремя простыми мерами, правилом данных, правилом остановки и запасом, затем решайте: внедрить, адаптировать или остановить.