Ошибка в оценивании эссе с помощью ИИ MCAS приводит к снижению баллов у студентов в сотнях округов: отчет

Проблемы с оцениванием эссе в Массачусетсе

В штат Массачусетс возникла серьезная проблема с оцениванием эссе студентов в рамках системы комплексной оценки знаний Massachusetts Comprehensive Assessment System (MCAS), что вызвало общественное беспокойство и критику. Согласно отчету NBC Boston, в результате сбоя алгоритма искусственного интеллекта неправильную оценку получили эссе почти в 200 школьных округах. В частности, около 1,400 тестов были ошибочно оценены, причем отдельные работы получили нулевую оценку, хотя по шкале от 1 до 7 могли бы быть оценены на уровне 6.

Реакция Министерства образования

Министерство образования Массачусетса (DESE) сообщило, что все затронутые эссе были пересчитаны, а соответствующие округа получили уведомления о проведенных корректировках в августе. Результаты MCAS, опубликованные недавно, указали на продолжающиеся образовательные трудности, возникшие в период пандемии COVID-19, которые продолжают оказывать влияние на успеваемость учащихся на всех уровнях образования.

Причины проблемы с оцениванием

По словам DESE, проблема с оцениванием возникла в результате «временной технической неисправности в процессе оценивания», а ошибки составляют «малую долю» от примерно 750,000 эссе, оцененных в штате. Искусственный интеллект используется для оценки тестов MCAS последние два года, причем, как уточнила DESE, около 10% эссе затем дополнительно проверяются людьми для обеспечения согласованности оценивания. Этот подход, хоть и направлен на улучшение качества оценки, подвергся критике после обнаружения ошибок.

Общественное мнение и изменения в образовательной политике

Ошибка в оценивании совпала с решением жителей Массачусетса отвергнуть требования по минимальным оценкам в тестах MCAS как условие для получения аттестата о среднем образовании для выпускников. Почти 60% населения высказались против этой меры на голосовании, что стало значительным поворотом в политике образования, действовавшей последние два десятилетия.

Будущее оценки знаний

В то же время Совет по выпускникам K-12 в штате разрабатывает новые требования к выпускным экзаменам, которые могут вернуть стандартизированные «экзамены по окончании курса» в ключевых предметах, чтобы определить, имеет ли выпускник право на получение аттестата. В предварительных рекомендациях Совета содержится положение о том, что такие оценки будут «разработаны, проведены и оценены государственными органами, что способствует единообразным стандартам по всему Массачусетсу».

Важность прозрачности и вовлеченности

Это происшествие поднимает важные вопросы о целесообразности использования искусственного интеллекта в системе образования, особенно в таких чувствительных областях, как оценивание. Эксперты призывают к большей прозрачности в процессе оценивания и настоятельно рекомендуют государству пересмотреть политику в области образовательных технологий, чтобы избежать подобных сбоев в будущем. Анализ текущих мировых тенденций показывает, что многие образовательные учреждения стремятся оптимизировать процесс оценивания через технологии, однако нахождение баланса между человеческим вмешательством и алгоритмическими системами представляется критически важным.

Отметим также, что успех внедрения новых стандартов оценки во многом будет зависеть от восприятия и поддержки со стороны сообщества, что подчеркивает необходимость вовлечения всех заинтересованных сторон в процесс принятия решений.