«Симулятор ученика, а не учитель»: Microsoft Research обучила персональных LLM-двойников студентов для проверки AI-репетиторов

Зачем вообще симулировать ученика

Качество преподавания нельзя измерить только по ответу репетитора. Репетитору нужно знать, что произошло после того, как подсказка дошла до ученика: исправил ли тот исходную ошибку, помогла ли подсказка рассуждать или выдала слишком много, и понадобилась бы другому ученику другая поддержка. Сегодня такие вопросы требуют реальных исследований с учащимися, а они медленные и дорогие, поэтому их трудно использовать при быстрой итерации модели. StudentSim создаёт симуляторы отдельных учеников, чтобы сделать эту обратную связь доступнее во время разработки.

Авторы прямо ограничивают область применения: цель — не заменить учителей или школьное обучение, а помочь исследователям оценивать и улучшать системы AI-репетиторов до тестирования с реальными учениками. Используются только публично доступные наборы данных учеников, выпущенные для исследований с обезличенными записями; персонально идентифицирующая информация не применяется ни на одном этапе. Каждый персональный симулятор обучается только на обезличенных записях того ученика, которого он представляет.

Что должен уметь симулятор: два измерения

Простой способ построить симулятора — попросить большую языковую модель сыграть ученика, но сложность в сохранении реальной границы способностей. Модель может говорить голосом младшеклассника, опираясь на знания и рассуждения далеко за пределами его уровня, и тогда репетитор кажется эффективным лишь потому, что симулированный ученик слишком способен. Традиционное моделирование ученика опирается на реальные записи обучения, но многие такие модели не рассчитаны на то, чтобы принимать естественно-языковую подсказку репетитора на вход.

StudentSim задаёт цель через два измерения, вдохновлённых педагогическими исследованиями. В основе — различение того, что ученик умеет самостоятельно, и того, что он может с поддержкой; это соответствует зоне ближайшего развития Выготского. Первое измерение — поведенческая точность (behavioral fidelity): совпадает ли симулятор с записанными ответами конкретного ученика на отложенных задачах. Второе — отзывчивость на подсказку (guidance responsiveness): обновляет ли симулятор ответ после прочтения подсказки репетитора. Цели дополняют друг друга: симулятор, который только повторяет прошлое поведение, не покажет, помогло ли вмешательство, а тот, что всегда следует за репетитором, не отразит сильные и слабые стороны конкретного ученика.

Двухэтапное обучение на разреженных записях

Реальные данные ученика на индивидуальном уровне разрежен: один учащийся может дать лишь небольшое число эссе, ответов или взаимодействий. Обучение отдельного симулятора с нуля для каждого ученика грозило бы переобучением и заставило бы каждую модель заново осваивать общие закономерности предмета. Поэтому StudentSim использует двухэтапный конвейер: сначала модель учится на записях, объединённых по многим ученикам одной предметной области, осваивая общие форматы ответов, типичные ошибки и обычные способы исправления после подсказки. На втором этапе модель специализируется на записях одного ученика и становится его персональным симулятором.

Оценка охватывает три области с разными типами ответа. В шахматах симулятор предсказывает следующий ход игрока и то, как тот может его пересмотреть после разбора. В письме на английском как втором языке он порождает эссе с ошибками, соответствующими ученику, и предсказывает исправления после отзыва учителя. В математике он предсказывает ответ на вопрос с выбором варианта и то, обновится ли ответ после объяснения. Во всех трёх областях StudentSimEval сравнивает методы на одних и тех же персональных обучающих записях и одних и тех же отложенных записях оценки.

Замер: шахматы против GPT-5.4 и Maia2

StudentSim обходит ведущие базовые решения во всех трёх областях. В шахматах поведенческая точность StudentSim составляет 0.5150, а отзывчивость на подсказку — 0.9067. GPT-5.4 даёт 0.2316 и 0.7186 соответственно, а Maia2, специализированная модель предсказания человеческих ходов, — 0.4535 и 0.2721. Разница показывает характеры базовых решений: GPT-5.4 умеет реагировать на подсказку, но не воспроизводит надёжно поведение конкретного ученика, а Maia2 точнее предсказывает ходы, но не имеет пути для естественно-языковой подсказки.

Симулированная обратная связь учит репетитора

Авторы проверили и то, может ли обученный симулятор давать обратную связь для оптимизации репетитора. В исследовании с обучением с подкреплением шахматный репетитор получает позицию и предыдущий неверный ход реального ученика, а затем порождает подсказку. Параметры симулятора при этом зафиксированы: он читает подсказку и выдаёт исправленный ход, а награда считается по улучшению качества хода от предыдущего к исправленному, используя Stockfish как независимый шахматный сигнал. Сравнивались три условия: репетитор после supervised fine-tuning без обучения с подкреплением, репетитор с GPT-5.4 как источником награды и репетитор с StudentSim в той же роли. Все условия используют одну политику репетитора, одну стартовую точку и одну настройку обучения с подкреплением, а ответы оценивают шахматные эксперты вслепую.

Награда от StudentSim даёт лучшего репетитора по всем заявленным измерениям. Достигнута точность 90.5% против 75.7% у базовой линии без обучения с подкреплением и 71.6% у условия с наградой GPT-5.4, а также более высокие оценки качества подсказок и персонализации. Авторы называют это доказательством концепции: симуляторы учеников, обученные на реальных данных, могут давать полезную обратную связь для улучшения AI-репетиторов.

Что дальше и что это не заменяет

StudentSim не отменяет необходимость реальных учеников в образовательных исследованиях: человеческие исследования остаются нужными для измерения результатов обучения, безопасности, удобства и пригодности для класса. Роль симуляторов — раньше в процессе разработки: они помогают проверять стратегии репетитора, сравнивать модели и уточнять обучающие сигналы до дорогих исследований с реальными студентами. Более широкое направление — строить системы AI-репетиторов, которые учатся на реакциях ученика, а не только на экспертных объяснениях или статических метках правильности. Статья, код обучения и оценки, включая протокол StudentSimEval, опубликованы публично.