Учебник из машины. Казанские ученые научили ИИ оценивать тексты

25.06.19

Система машинного обучения, созданная российскими математиками и лингвистами, поможет оценить уровень удобочитаемости текстов. Это позволит создать более понятные и удобные учебники для школьников и студентов, пишут ученые в Journal of Intelligent & Fuzzy Systems.

«Впервые предложен математически обоснованный и экспериментально проверенный метод оценки сложности текстов на русском языке, учебных материалов. Это может помочь в повышении уровня обучения в России, в ее продвижении в международном рейтинге систем образования», – рассказывает Валерий Соловьев, профессор Казанского федерального университета.

Самым популярным методом для оценки сложности текста до сих пор считается использование индексов удобочитаемости. Они помогают определить, насколько текст легко читать и понимать. Наиболее часто используемые – это индекс Флеша и индекс Флеша–Кинкейда. Изначально они созданы для английского языка, но впоследствии были адаптированы и для русского. У них есть большой минус. С их помощью можно проанализировать текст не более чем по двум критериям: количество слов в предложении и слогов в слове. Этого явно недостаточно. Поэтому ученые Казанского федерального университета совместно с коллегами из Университета Иннополис и Национального политехнического института Мексики решили разработать свою систему.

Для тренировки искусственного интеллекта, ученые выбрали школьные учебники по обществознанию для 5–11 классов. Тексты разделили на группы, каждую из которых проанализировали по количеству слов в предложении, слогов в слове, частоте встречаемости длинных слов, содержании различных частей речи, доли слов в именительном и родительном падеже и так далее – всего 11 параметров, влияющих на сложность восприятия текста. В результате удалось получить точный метод, который показывает, насколько легко ученикам удается воспринимать тексты.

Новая система позволит не только подготовить более понятные для школьников учебники , но и создать качественные пособия для иностранцев, желающих выучить русский язык.

Андрей Горбачев