Алгоритмы автоматизации анализа текста на русском языке для решения прикладных задач с применением фреймворка TAWT
В работе проведен обзор существующих инструментов лингвистического анализа текста. Выявлена проблема выбора подходящих инструментов, адаптации их для работы с текстами на русском языке и интеграции друг с другом. Именно эти аспекты затрудняют их применение в исследовательских целях и делают практически невозможным использование в прикладных системах. В настоящей статье описывается разработанный авторами уникальный Java-фреймворк TAWT с открытым исходным кодом, предоставляющий удобные готовые программные инструменты и структуры данных основных этапов анализа текста на русском языке, отвечающие современным требованиям к производительности, надежности, механизмам сборки проектов и т.д. В статье предлагается подход к интеллектуализации информационных систем и бизнес-процессов с помощью программных средств лингвистического анализа текста для реализации алгоритмов автоматизации обработки технической документации, что составляет научную новизну работы. Применение разработанного фреймворка TAWT позволило реализовать алгоритмы автоматизации анализа текста на русском языке в части анализа технической документации: валидации структуры документов и перечня используемых в документе аббревиатур, поиска похожих документов и получения их краткого содержания. Все это упростит работу с технической документацией, ускорит процесс ее подготовки и повысит качество создаваемых документов. Алгоритмы автоматического анализа текста, реализованные средствами фреймворка TAWT, были успешно применены в прикладных системах поиска друзей по интересам в социальных сетях, определения мошеннических сообщений, работы с тематическими синонимами, а также для создания программных средств выделения ключевых слов из текстов на русском языке и их реферирования.