Кафедра прикладної лінгвістики

Додаток 1. Особливості реалізації програмного забезпечення для семантичного та семантико-синтаксичного аналізу. Програмна архітектура лінгвістичного процесора Таблиця – Особливості реалізації програмних компонентів для лінгвістичного аналізу текстів на ПРИРОДНІЙ МОВІ та проведення експериментальних досліджень Тип програмного компонента Мова реалізації Об'єм коду Модулі лінгвістичного аналізу С++ понад 40 000 рядків коду Сценарії для проведення експериментальних досліджень Python 2.7 понад 3000 рядків коду   Програмна архітектура лінгвістичного процесора Введемо два поняття: Аналізатор – програмний компонент, який або перетворює тексти природною мовою на структуровану форму, або перетворює одне структуроване подання тексту на інше. Мовний ресурс – це фрагмент лінгвістичної бази знань про деякий ЕЯ: словник, тезаурус, модель машинного навчання, система правил, кінцевий автомат та ін. Завдання аналізу текстів природними мовами має ряд особливостей, які з...

Література 1 Смирнов И. В., Шелманов А. О. Семантико-синтаксический анализ естественных языков. Часть I. Обзор методов синтаксического и семантического анализа текстов // Искусственный интеллект и принятие решений. — 2013. — № 1. — С. 41–54. 2 Relational–situational method for intelligent search and analysis of scientific publications / Gennady Osipov, Ivan Smirnov, Ilya Tikhomirov, Artem Shelmanov // Proceedings of the Workshop on Integrating IR technologies for Professional Search, in conjunction with the 35th European Conference on Information Retrieval (ECIR’13). — Vol. 968. — CEUR Workshop Proceedings, 2013. 3 Семантико-синтаксический анализ естественных языков Часть II. Метод семантико-синтаксического анализа текстов / И. В. Смирнов, А. О. Шелманов, Е. С. Кузнецова, И. В. Храмоин // Искусственный интеллект и принятие решений. — № 1. — С. 11–24. 4 Shelmanov A. O., Smirnov I. V. Methods for semantic role label...

4.4. Висновки Продемонстровано застосування розроблених методів семантичного та семантико-синтаксичного аналізу для вирішення прикладних завдань обробки текстів природною мовою. Показано, як інформація про семантичні ролі, отримана від семантичного та семантико-семантичного аналізаторів, застосовується в алгоритмі побудови семантичної мережі для реляційно-ситуаційної моделі тексту.   Розроблено метод ранжирування сніпетів для пошуку в метапошуковій системі, в якому поряд з лексикою, враховуються семантичні ролі та відношення. Експериментально показано, що семантична інформація робить значний внесок у точність роботи алгоритму ранжування і дозволяє отримувати відповіді на запитання  безпосередньо зі сніпетів. Крім цього, результати експериментальних досліджень свідчать про значну перевагу використання системи семантико-синтаксичного аналізу при вирішенні завдання питання-відповідь пошуку в порівнянні з системою, в якій синтаксичний і семантичний аналіз виконуються окремо. ...

4.3. Застосування семантичного та семантико-синтаксичного аналізу для вирішення задачі автоматичного вилучення визначень та авторських термінів з текстів наукових публікацій У наукових публікаціях автори часто вводять нові терміни або зручності сприйняття статті дають визначення (дефініції) відомим термінам. У цьому розділі розглядається завдання вилучення з текстів наукових публікацій визначень та визначених термінів, такі терміни надалі називатимемо авторськими. У прикладних завданнях інформаційного пошуку визначення та авторські терміни можна використовувати для створення термінологічної бази предметної області, поповнення тезаурусів, для формування списку ключових слів документа, його анотації або, наприклад, особливим чином враховувати їх у формулі розрахунку релевантності при пошуку інформації. Повнотекстовий пошук за визначеннями та авторськими термінами може допомогти користувачеві зрозуміти зміст невідомих термінів при експлоративному пошуку в колекціях наукових публікацій [1...

4.2. Застосування семантичного та семантико-синтаксичного аналізу для запитально-відповідального пошуку Завдання питання-відповіді пошуку полягає в тому, щоб видати користувачеві відповідь на запитання, заданий природною мовою. Існує безліч формулювань цього завдання і типів питання-відповідальних систем. Відповідь може шукатися як у структурованих базах знань, і у колекціях неструктурованих текстових документів. У цьому розділі розглядається завдання питання-відповідного пошуку в метапошуковій системі. У багатьох пошукових систем в Інтернет модуль запитання-відповідного пошуку або відсутній, або він має обмежені можливості (наприклад, відповідає тільки на запитання «Де?», «Коли?»), тому відповіді на запитання користувачів, задані природною мовою, часто виявляються у глибині пошукової видачі. Метапошукова система робить запити відразу до кількох пошукових систем, отримує від кожної з них сніпети (фрагменти тексту, які виводяться поруч із посиланням у пошуковій в...

ГЛАВА 4. ЗАСТОСУВАННЯ МЕТОДІВ СЕМАНТИЧНОГО ТА СЕМАНТИКО-СИНТАКСІЧНОГО АНАЛІЗУ ДО ЗАВДАНЬ ОБРОБКИ ТЕКСТІВ НА ПРИРОДНІЙ МОВІ У цьому розділі розглядаються та оцінюються методи вирішення прикладних завдань обробки текстів природною мовою, в яких використовуються результати семантичного та семантико-синтаксичного аналізу. 4.1. Застосування семантичного та семантико-синтаксичного аналізу для побудови семантичної мережі реляційно-носійної моделі Модель семантики тексту з урахуванням ролей є дуже ефективним інструментом під час вирішення багатьох прикладних завдань автоматичної обробки текстів природною мовою. Однак, як уже було зазначено раніше, вона є досить поверховою, багато смислових аспектів, виражених у тексті, залишаються за її рамками. Більш глибоке уявлення семантики тексту відбито у реляційно-ситуаційної моделі тексту. У ній синтаксими та зв'язки між ними утворюють неоднорідну семантичну мережу. Реляційноносуаційна модель крім інформації про семантичні ролі також враховує зна...

3.5. Експериментальне дослідження методу семантико-синтаксичного аналізу У роботі проводилася оцінка впливу розробленого методу семантикосинтаксичного аналізу на якість побудови синтаксичних дерев залежностей та визначення рольових структур висловлювань. 3.5.1. Оцінка впливу методу семантико-синтаксичного аналізу на якість синтаксичного аналізу Щоб оцінити вплив розробленого методу на якість побудови синтаксичних дерев залежностей, система семантикосинтаксического аналізу порівнювалася з синтаксичним аналізатором, реалізованим з допомогою MaltParser. Він також використовувався для попереднього синтаксичного аналізу у системі семантикосинтаксичного аналізу. Тестування та навчання проводилося на корпусі СінТагРус, який був поділений на два підкорпуси. До навчального підкорпусу входить близько 48 тис. пропозицій та 700 тис. токенів без урахування пунктуації. До тестового підкорпусу входить 5 тис. пропозицій та понад 70 тис. токенів без урахування пунктуації. Перший підкорпус використову...