3.3. Експериментальне дослідження методу пошуку семантичних аргументів
Метод пошуку семантичних аргументів тестувався за таких умов (конфігураціях):
1) На вхід аналізатора подаються морфологічні ознаки та синтаксична розмітка із золотого стандарту. Позначимо таку конфігурацію як Gold_Morph_Synt.
2) На вхід аналізатора подаються морфологічні ознаки та синтаксична розмітка, згенеровані автоматично. Позначимо таку конфігурацію як Morph_Synt. Ця конфігурація відбиває реальне завдання аналізу тексту деякою прикладної системи обробки текстів на ЕЯ.
Для тестування методу пошуку семантичних аргументів використовувався розмічений корпус із 200 пропозицій, в якому для кожного предикатного слова було розмічено всі його семантичні аргументи. Розраховувалися точність ??, повнота ?? і ??1 міра. У цих оцінках:
• ???? – кількість семантичних аргументів у видачі аналізатора, що збіглися з семантичними аргументами у перевірочному корпусі, у яких також збіглися позиції ПС у реченні;
• ???? – кількість семантичних аргументів у видачі аналізатора, які відсутні у перевірочному корпусі, або у них відрізняються позиції ПС;
• ???? – кількість семантичних аргументів у перевірочному корпусі, які відсутні у видачі аналізатора, або у них не збігаються позиції ПС.
Результати представлені у таблиці 3.
Таблиця 3 - Результати експериментальної оцінки якості пошуку семантичних аргументів
Конфігурація ??, % ??, % ?????, %
Gold_Morph_Synt 94,4 95,0 94,6
Morph_Synt 86,1 83,2 84,6
Результати ілюструють, що розроблений евристичний метод знаходження семантичних аргументів за ідеальної синтаксичної розмітки, як і очікувалося, працює з високою точністю та повнотою. Це дозволяє його використовувати для знаходження основних семантичних аргументів у системі семантико-синтаксичного аналізу. Помилки найчастіше виникають, якщо предикатне слово та його аргумент пов'язані через досить складні синтаксичні конструкції, наприклад у випадках, коли в одній клаузі кілька однорідних предикатних слів. Якість пошуку семантичних аргументів сильно знижується під час використання автоматично
згенерованої синтаксичної розмітки – приблизно на 10% за 1-ю мірою. Експеримент показує важливість якісного синтаксичного аналізу для вирішення завдання пошуку семантичних аргументів, так і для всієї процедури семантичного аналізу. Варто зазначити, що відповідно до результатів, представлених у розділі 3.2, зниження 1-мери менше, ніж частка помилок синтаксичного аналізатора за UAS у порівнянні із золотим стандартом. Причиною цього може бути те, що синтаксичні зв'язки між предикатними словами та їх аргументами встановлюються точніше, ніж загалом за текстом.
3.4. Експериментальне дослідження методу семантичного аналізу
Семантичний аналізатор тестувався за таких умов (конфігурацій):
1) На вхід аналізатора подаються морфологічні ознаки,
синтаксична розмітка та КСК із золотого стандарту. Позначимо таку конфігурацію як Gold_Morph_CSC_Synt.
2) На вхід аналізатора подаються морфологічні ознаки та синтаксична розмітка із золотого стандарту, а КСК визначаються автоматично. Позначимо таку конфігурацію як
"CSC_Gold_Morph_Synt".
3) На вхід аналізатора подаються морфологічні ознаки КСК із золотого стандарту, а синтаксична розмітка генерується автоматично за допомогою синтаксичного аналізатора. Позначимо таку конфігурацію як "Synt_Gold_Morph_CSC".
4) На вхід аналізатора подаються морфологічні ознаки із золотого стандарту, а КСК та синтаксична розмітка генеруються автоматично аналізаторами. У цій конфігурації використовується модель синтаксичного аналізатора, навчена на морфологічних ознаках із золотого стандарту. Позначимо таку конфігурацію як CSC_Synt_Gold_Morph.
5) Всі ознаки та вся розмітка, що подається на вхід семантичного аналізатора, генеруються автоматично. Ця конфігурація відповідає реальної практичної задачі аналізу тексту: на вхід аналізатора подається просто текст, на виході будується синтаксичне дерево та рольова структура. Позначимо таку конфігурацію як Morph_CSC_Synt.
Для тестування аналізатора визначення рольових структур висловлювань було взято близько 1 500 пропозицій, що становить приблизно 25 000 токенів без урахування пунктуації. У тестовому підкорпусі розмічено близько 3300 ролей. Решта семантично розміченого корпусу використовувалася для налаштування аналізатора.
Розраховувалися точність ??, повнота ?? і ??1-мера. При зіставленні результатів аналізатора з тестовим підкорпусом враховувалися ті семантичні ролі, які у тестовому підкорпусі. В цьому випадку:
• ???? - Кількість аргументів, роль яких при заданому ПС збігається з роллю, вказаною в тестовому підкорпусі при цьому ПС;
• ???? – кількість аргументів, роль яких при заданому ПС вказано у тестовому підкорпусі, але у видачі аналізатора роль для цього аргументу при заданому ПС не визначено;
• ???? – кількість аргументів, роль яких за заданому ПС зазначено у тестовому підкорпусі, у видачі аналізатора роль при цьому аргументу при заданому ПС визначено, але вона збігається з роллю, зазначеної у підкорпусі.
Результати оцінки якості розв'язання задачі визначення рольових структур висловлювань наведено в таблиці 4.
Таблиця 4 - Результати експериментальної оцінки якості семантичного аналізатора
Конфігурація p, %r, %F1, %
Gold_Morph_CSC_Synt 92,3 80,8 86,2
CSC_Gold_Morph_Synt 89,4 73,4 80,6
Synt_Gold_Morph_CSC 92,1 74,3 82,3
CSC_Synt_Gold_Morph 89,2 67,3 76,7
Morph_CSC_Synt 89,6 61,0 72,6
Отримані результати свідчать про те, що розроблений семантичний аналізатор для аналізу текстів російською мовою демонструє якість вирішення задачі визначення рольових структур висловлювань на рівні сучасних аналізаторів для інших мов з малою кількістю мовних ресурсів (див. розділ 1.4, іспанська, чеська, китайська та ін.) .). Виходячи з отриманих результатів, можна судити про важливість різних ознак для вирішення цього завдання. Насамперед необхідно відзначити великий вплив на кінцевий результат помилок щодо категоріально-семантичних класів. При переході від конфігурації Gold_Morph_CSC_Synt до CSC_Gold_Morph_Synt значно знижується як точність (близько 3%), так і повнота (близько 7,5%). Для підвищення точності визначення КБК слів можна використовувати методи кластеризації великих колекцій, а також лінгвістичні тезауруси. Використання автоматично згенерованої розмітки в основному веде лише до зниження повноти: при переході від конфігурації Gold_Morph_CSC_Synt до конфігурації
"Synt_Gold_Morph_CSC" повнота знижується приблизно на 6,5%. Це відображення помилок, що виникають на етапі виявлення семантичних аргументів. При переході від конфігурацій, в яких морфологічні ознаки беруться із золотого стандарту, до конфігурації, в якій морфологічні ознаки генеруються автоматично (Morph_CSC_Synt), накладаються як помилки порівняння морфологічних ознак ролей і аргументів, так і зниження точності синтаксичного аналізу за розділом 3.2).
Як видно з результатів, лише приблизно половина всіх помилок при визначенні рольових структур висловлювань зумовлена помилками на попередніх етапах обробки тексту: морфологічний, синтаксичний аналіз та визначення КСК. У другій половині значної ролі грають помилки безпосередньо методів, застосовуваних визначення рольових структур висловлювань. Як видно з результатів, поданих у розділі 3.3, метод пошуку аргументів не дає стовідсоткової точності через безліч різних складних випадків предикатно-аргументних зв'язків. Ще однією проблемою семантичного аналізатора, яка зумовлює значну частку помилок, є обмеження семантичного словника. У словникових статтях семантичного словника містяться лише три ознаки для диференціації семантичних ролей, яких іноді недостатньо. Існує значна кількість випадків, у яких за цими ознаками не можна відокремити дві семантичні ролі. Частково ця проблема вирішується евристиками. Ще одним обмеженням семантичного словника є помилки, що містяться в ньому.
На рисунках 23 та 24 представлені приклади семантичного аналізу пропозицій із корпусу СінТагРус. Зеленим кольором позначені предикатні слова, червоним – аргументи. На червоних стрілках вказані семантичні ролі, зелені стрілки позначають семантичні відносини у семантичній мережі (див. розділ 4.1).
Рисунок 23 – Результат семантичного аналізу пропозиції з корпусу СінТагРус «Ці вчені зробили вирішальний внесок у пояснення двох феноменів квантової фізики – надпровідності та
надплинності.»
Рисунок 24 – Результат семантичного аналізу пропозиції з корпусу СінТагРус «Співробітники, які обслуговують заклад, входять до
категорію ризику.
Коментарі
Дописати коментар