11 Часть I. Компоненты 14 Глава Компьютерная


Оценка качества работы алгоритмов



бет169/197
Дата19.03.2022
өлшемі4,29 Mb.
#136225
түріЛитература
1   ...   165   166   167   168   169   170   171   172   ...   197
Байланысты:
nikolaev is mitrenina ov lando tm red prikladnaia i kompiute

Оценка качества работы алгоритмов


Как оценивается качество анализа тональности? Для этого использу- ются хорошо известные метрики полноты, точности и f-меры, которые применяются в информационном поиске. Полнота определяется как от- ношение верно приписанных тональностей (т. е. тех, что совпали с оцен- кой эксперта) к общему количеству тональностей (приписанных и не при-

писанных). Точность — это отношение верно определенных тональностей ко всем определенным системой тональностям. F-мера представляет собой гармоническое среднее полноты и точности и вычисляется как отношение их удвоенного произведения к их сумме.


При оценке качества работы систем сентиментного анализа формиру- ется так называемый «золотой стандарт» из размеченных и оцениваемых экспертами текстов. Методы и приемы, используемые при подготовке «зо- лотого стандарта», описаны в статье [Wiebe, Bruce, O’Hara].
В мире проводятся соревнования по тестированию систем в области обработки естественного языка. На протяжении последних нескольких лет в рамках семинара РОМИП также проходит SentiRuEval — конкурс по анализу тональности в текстах на русском языке. По сложившейся тради- ции, участники представляют результаты работы своих систем на между- народной конференции по компьютерной лингвистике «Диалог». В каче- стве материала для исследования участникам предлагают отзывы пользо- вателей, а также новостные сообщения и твиты. Так, в 2015 году были сформулированы два задания [Лукашевич, Блинов и др. 2015]. Первое за- ключалось в аспектно-ориентированном анализе отзывов о ресторанах и автомобилях. Необходимо было найти слова и выражения, обозначающие важные характеристики объектов (т. е. аспекты), и классифицировать их по тональности и обобщенным категориям. Во втором задании нужно бы- ло проанализировать влияние твитов на репутацию заданных компаний.
Системы автоматического анализа тональностей активно развивают- ся, и в ближайшем будущем можно ждать новых решений, позволяющих оценить, насколько позитивно воспринимается тот или иной товар, дея- тель или явление.




Достарыңызбен бөлісу:
1   ...   165   166   167   168   169   170   171   172   ...   197




©engime.org 2024
әкімшілігінің қараңыз

    Басты бет