Уникальная тестовая система основана на использовании нейросетевых технологий и алгоритмов адаптивного тестирования, при этом она обобщила лучшие практики международных языковых экзаменов TOEFL, IELTS, Cambridge English. Благодаря интеграции новейших LLM (Больших языковых моделей) ИИ-платформа выполняет сложный лингвистический анализ и обеспечивает точную и беспристрастную оценку уровня владения языком, исключает “человеческий фактор”, а также предоставляет возможность легкого масштабирования.
Платформа “ИСТОК” была создана междисциплинарной командой ученых МФТИ, куда вошли тестологи, лингвисты, методологи, программисты, математики, специалисты по матстатистике, тренеры ИИ. Это первая российская тестовая система по английскому языку на базе моделей ИИ, она использует языковые модели и диалоговые системы на основе технологий DeepPavlov. Пользовательский интерфейс платформы разработан на базе киберфизической платформы Syncwoia.
Тест-платформа применяет технологии нейронных сетей и предлагает комплексное решение для анализа и оценки уровня владения языком. Она способна распознавать письменную и устную речь, а также проводить лингвистический анализ и осуществлять оценивание уровня владения языком в соответствии с Общеевропейской шкалой языковых компетенций (CEFR)
Тест-платформа действительно первая, ей нет аналогов в мире, поскольку она использует сложную техническую интеграцию нескольких компонентов — адаптивное тестирование, языковые модели, их оболочка, сервисные приложения, платформа, — основана на отечественных разработках, имеет под собой научную базу. До внедрения технологического решения была проведена большая работа, связанная с созданием уникальных тестов, вобравших в себя все лучшие практики международных экзаменов (TOEFL, IELTS, Cambridge English) и лингвистических баз данных. Лингвистический блок команды подготовил систему измерительных материалов, собрал аналитику, проведя качественный анализ на основе работ более 10.000 человек, прошедших тестирование. Языковые модели обучались на тестовом материале, проверенном сертифицированными экспертами международного уровня.
- Елена Базанова, руководитель проекта и руководитель Департамента иностранных языков МФТИ
По словам разработчиков, ИИ-платформа предоставляет универсальный подход к языковому тестированию, включает в себя алгоритмы адаптивного тестирования, нейросетевые модели и набор сервисных приложений. Модули для синхронизации и совместной работы различных языковых моделей позволяют оценивать навыки говорения и письма.
Система извлекает специфические особенности языка, которые поступают в классификатор для оценки уровня владения языком в соответствии с CEFR. Для непрерывного развития и интеграции платформа предлагает API для внешних разработчиков, которые могут отправлять запросы на данные. Кроме того, в платформе заложен механизм улучшения машинных оценок, позволяющий модели непрерывно совершенствоваться. Использование контейнеров Docker и архитектуры микросервисов обеспечивает масштабируемость и гибкость, что способствует эффективной обработке большого количества запросов.
Техническая разработка платформы заключалась в создании надежной программной инфраструктуры, объединяющей множество нейросетевых решений и сервисных приложений. Это включало в себя создание Docker-контейнеров для различных микросервисов, разработку HTTP API для взаимодействия с системой и реализацию алгоритмов адаптивного тестирования. Архитектура платформы поддерживает синхронизацию модулей языковой модели и обработку текстовых и аудиоданных. В процессе разработки особое внимание уделялось обеспечению масштабируемости и надежности, а также всестороннему тестированию и валидации для обеспечения точности оценки уровня владения языком.
- Тендай Чикаке, ведущий разработчик проекта, аспирант ФПМИ МФТИ
Основные трудности, как подчеркивает команда создателей, заключались в интеграции различных моделей нейронных сетей и обеспечении их бесперебойной работы.
“Еще одна сложность заключалась в реализации алгоритмов адаптивного тестирования, которые точно предсказывают сложность последующих тестовых заданий на основе предыдущих ответов. Обеспечение масштабируемости и надежности при сохранении высокой точности оценок представляло значительные трудности, особенно с учетом того, что в некоторых подсистемах используются устаревшие библиотеки. Кроме того, остается актуальной задача улучшения сбора данных и аннотирования для новых циклов обучения и тонкой настройки.
- Тендай Чикаке
Тест-платформа и непосредственно тесты ИСТОК уже прошли апробацию внешними пользователями, в числе которых тестировались студенты ТюмГУ, ПГТУ, ТГТУ, РЭШ, ВАВТ и ГУУ. В настоящий момент успешно протестировано более 10.000 пользователей.
Ближайшая задача разработчиков — интеграция дополнительных аудио-функций, таких как фонетическая точность и просодические паттерны. Кроме этого, создатели планируют улучшить способность системы оценивать навыки интерактивного общения и беглость устной речи. Пользовательский интерфейс платформы и инструменты аннотирования данных также находятся в процессе оптимизации для удобства использования.
Фото на обложке: Елена Базанова и Тендай Чикаке, основные разработчики платформы. Источник: пресс-служба МФТИ
Нет комментариев