В Великом Новгороде прошла конференция «Берестяные грамоты: 75 лет открытий и изучения», приуроченная к юбилею открытия берестяных грамот. На протяжении многих десятилетий исследование берестяных грамот служило богатым источником знаний о языке, быте и нравах древних новгородцев, привлекая внимание ученых из самых различных областей. Наряду с филологами, языковедами, историками и археологами в этом году на юбилейной конференции выступили двое молодых специалистов в области разработок искусственного интеллекта. Докладчики рассказали о своих разработках и о возможностях применения нейросетей в качестве вспомогательного инструмента, облегчающего некоторые рутинные задачи при работе с берестяными грамотами.
Найденные грамоты проходят через ряд процедур, необходимых для того, чтобы их можно было прочесть и обеспечить их сохранность. Также по ним делают прорись — рисунок-копию бересты с начертанным текстом. Для многих находок очень важно, чтобы прорись в точности совпадала с оригиналом, но эта задача очень трудоемкая — ее может взять на себя нейросеть. Предполагается, что модель будет генерировать векторное изображение, которое человек затем сможет доработать, дорисовывая недостающие штрихи или убирая лишние.
Применение компьютерных технологий для расшифровки рукописей — особенно, древних — активно развивающийся тренд. В контексте изучения берестяных грамот возникает затруднение, связанное с ограниченностью источников, предоставляющих данные для обучения нейросети. Эта проблема решается за счет того, что модель можно обучать не только на источниках, но и на синтетических данных, сгенерированных на основе графем, выделенных со снимков берестяных грамот. Точность распознавания, которую демонстрирует модель, дополнительно обученная на синтетических данных, достигает 60-70%.
Лингвистам и палеографам, работающим с берестяными грамотами, нередко приходится «достраивать» недостающие или нечитаемые фрагменты текстов, исходя из контекста и сохранившихся начертаний букв, не видимых целиком. Нейросетевая модель работает по тому же принципу — обрабатывая визуальный сигнал и текст. Для обучения таких моделей используют тексты с пропусками. «Мы обучили свою модель на датасете в 15 миллионов символов. Затем модель прошла проверку на двух тестах: в первом она работала с компиляцией из текстов берестяных грамот и новгородских эпиграфических надписей, содержащих реконструкции лингвистов, а во втором — с массивом текстов на древнерусском, старославянском и ряде родственных им языков с искусственно созданными пропусками. На реальных пропусках, которые сложнее искусственных по ряду причин, модель восстанавливала символы с точностью 35%», — уточнил Максим Еремеев.
Грамоты классифицируются по жанрам (письма, деловые и хозяйственные записи, литературные и фольклорные тексты и т.д.) и диалектам, периоду написания а иногда и по авторству. «Мы брали существующие нейросети и обучали их на берестяных грамотах и других релевантных текстах. Одна из них называется BERTislav», — рассказал Максим Еремеев. BERTislav умеет определять жанр берестяных грамот, при тестировании смог успешно определить новгородский диалект, на котором был написан предложенный текст.
Из-за особенностей местности средневековым новгородцам приходилось каждые 15-20 лет менять деревянные мостовые — новые настилали поверх старых. Так за несколько столетий образовались десятки ярусов, по которым определяется возраст многих находок, в том числе берестяных грамот, с точностью до двадцати лет. Исследователи изучали и описывали языковые и графические особенности грамот, соотнося эти характеристики с предполагаемыми периодами их написания, и, таким образом, могли показать, как со временем изменялся язык и стиль письма. Это исследование имеет важное практическое значение, поскольку задает основу для альтернативного метода датирования, который теперь можно применять в случаях, когда возраст грамоты нельзя определить по ярусам. Еще один проект направлен на цифровое воспроизведение и частичную автоматизацию методов, которыми лингвисты и палеографы анализируют и датируют берестяные грамоты.
«На конференции я показывал первые предварительные результаты: количественный анализ изменений письма и начертаний во времени», — пояснил автор проекта Иван Филиппов, магистрант НовГУ, — «После конференции я разработал отдельный модуль, который в цифровом виде воспроизводит матричный метод Андрея Анатольевича Зализняка: датировка строится по совокупности палеографических, графических и языковых признаков, выявленных в грамоте».
Пока что представленные проекты нейросетевых модулей, помогающих в работе с берестяными грамотами, находятся на стадии разработки и усовершенствования. Возможно, в будущем разработчикам удастся представить продукты, способные выполнять задачи наравне с опытными исследователями.
Автор текста Наира Ковалева
Фото автора
