Выпускная квалификационная работа “Применение рекуррентных нейронных сетей для цели автоматизации стенографирования законотворческого процесса”

Актуальность: Большой объем текста, подлежащего стенографированию, определяет задачу частичной автоматизации набора текста.
Частичная автоматизация набора текста может применяться в целях стенографирования любых мероприятий, связанных с законодательной деятельностью Государственной Думы.

Цель: разработать модель предсказания следующего символа в тексте, позволяющую автоматизировать набор текста.

Задачи:

1. изучить литературу;
2. изучить применяемые для решения аналогичных задач методы;
3. найти и получить доступ к источнику данных;
4. выбрать наиболее подходящие методы;
5. разработать и воплотить в программном коде выбранные методы;
6. экспериментальным путём выбрать оптимальный метод.

Объектом исследования в настоящей работе являются рекуррентные нейронные сети.

Предметом исследования в настоящей работе является предсказание следующего элемента в последовательности с помощью рекуррентных нейронных сетей.

Основные результаты:

1. В рамках исследования были построены нейросетевые модели долгой краткосрочной памяти и управляемых рекуррентных блоков, решающие задачу предсказывания (классификации) следующего элемента текстовой последовательности — печатного знака. Достигнутое минимальное значение функции потерь — функции перекрёстной энтропии — 0,3803 за 50 эпох.
2. Кроме того, модели научились составлять слова и словосочетания, не ставить знаки препинания в середине слов, придерживаться официально-делового стиля речи.