Как оценивается качество анализа тональности? Для этого использу- ются хорошо известные метрики полноты, точности и f-меры, которые применяются в информационном поиске. Полнота определяется как от- ношение верно приписанных тональностей (т. е. тех, что совпали с оцен- кой эксперта) к общему количеству тональностей (приписанных и не при-
писанных). Точность — это отношение верно определенных тональностей ко всем определенным системой тональностям. F-мера представляет собой гармоническое среднее полноты и точности и вычисляется как отношение их удвоенного произведения к их сумме.
При оценке качества работы систем сентиментного анализа формиру- ется так называемый «золотой стандарт» из размеченных и оцениваемых экспертами текстов. Методы и приемы, используемые при подготовке «зо- лотого стандарта», описаны в статье [Wiebe, Bruce, O’Hara].
В мире проводятся соревнования по тестированию систем в области обработки естественного языка. На протяжении последних нескольких лет в рамках семинара РОМИП также проходит SentiRuEval — конкурс по анализу тональности в текстах на русском языке. По сложившейся тради- ции, участники представляют результаты работы своих систем на между- народной конференции по компьютерной лингвистике «Диалог». В каче- стве материала для исследования участникам предлагают отзывы пользо- вателей, а также новостные сообщения и твиты. Так, в 2015 году были сформулированы два задания [Лукашевич, Блинов и др. 2015]. Первое за- ключалось в аспектно-ориентированном анализе отзывов о ресторанах и автомобилях. Необходимо было найти слова и выражения, обозначающие важные характеристики объектов (т. е. аспекты), и классифицировать их по тональности и обобщенным категориям. Во втором задании нужно бы- ло проанализировать влияние твитов на репутацию заданных компаний.
Системы автоматического анализа тональностей активно развивают- ся, и в ближайшем будущем можно ждать новых решений, позволяющих оценить, насколько позитивно воспринимается тот или иной товар, дея- тель или явление.
