Специальные области vs. общественно-политическая область
Тезаурус РуТез: учет трех традиций
Информационно-поисковые тезаурусы
Название понятия
Включение многословных единиц
Небольшой набор отношений
Ресурсы типа WordNet
Подробное включение отдельных лексических единиц
Аккуратное описание многозначности
Формальные онтологии
Отличимость понятий
Формальные свойства отношений
Единицы тезауруса РуТез
Понятия тезауруса РуТез
Понятие происходит от значения отдельных слов или словосочетаний
Проблемы ввода понятий
Квазисинонимы
Близкие значения многозначных слов
Понятие должно быть отличимо от близких понятий
Однозначно понимаемое имя
Набор текстовых входов
Набор отношений
Название понятия
Единое представление для:
нетематической лексики,
тематической лексики, терминологии
Имя понятия
Однозначное слово:
КАБЕЛЬ
Однозначное словосочетание, являющееся одним из текстовых входов понятия:
ГОНОЧНЫЙ БОЛИД, КОСМИЧЕСКИЙ БОЛИД
Неоднозначное словосочетание с пометой:
КАБАЧОК (РАСТЕНИЕ), КАБАЧОК (ПЛОД)
Пара синонимов – текстовых входов понятия через запятую:
ИРРАЦИОНАЛЬНЫЙ, ЛОГИЧЕСКИ НЕОБЪЯСНИМЫЙ
Имя должно быть однозначно, понятно, отражать особенности понятия.
Многословные языковые выражения
Словосочетаний может встретиться очень много
Мы вносим словосочетание, если это необходимо для отражения новой информации
синонимы: приватизировать – передать в частные руки;
многозначное становится однозначным: положение дел, состояние дел
дополнительная структуризация сети
сельский дом: вилла, дача;
автомобиль
автомобильные гонки
автогонщик (пилот)
Синонимы в тезаурусе РуТез
Синонимы – языковые выражения, являющиеся текстовыми входами к одному и тому же понятию тезауруса
Разные части речи – дериваты могут быть текстовыми входами одного и того же понятия
Назовем совокупность текстовых входов к одному и тому же понятию – онтологическими синонимами
Специальные усилия на поиск многословных вариантов – снижение многозначности
Формирование обширных синонимических рядов – стабильность распознавания понятия в текста
Пример синонимического ряда
ЗАЩИТА ОКРУЖАЮЩЕЙ ПРИРОДНОЙ СРЕДЫ
ЗАЩИТА ПРИРОДНОЙ СРЕДЫ
ЗАЩИТА ПРИРОДЫ
ОХРАНА ОКРУЖАЮЩЕЙ ПРИРОДНОЙ СРЕДЫ
ОХРАНА ПРИРОДНОЙ СРЕДЫ
ОХРАНА ПРИРОДЫ
ОХРАНЯТЬ ПРИРОДУ
ПРИРОДОЗАЩИТА
ПРИРОДОЗАЩИТНЫЙ
ПРИРОДООХРАНА
ПРИРОДООХРАНИТЕЛЬНЫЙ
ПРИРОДООХРАННЫЙ
Близкие значения разных слов: монумент и памятник
Словарь синонимов (НОСС) – 5 различий:
1) в память о конкретном человеке обычно ставится памятник, о группе людей – и памятник, и монумент, о событии – монумент; идеи воплощаются в монументах;
2) у монументов есть способность увековечивать подвиг живых людей
3) по форме сооружения памятник часто представляет собой изображение увековечиваемого объекта,
4) монумент обычно больше по размерам и т.п..
Достаточны ли эти различия, чтобы ставить в соответствие этим словам отдельные понятия?
Монумент и памятник - 2
Проблема разделения:
каковы отношения между собой
каковы отношения с другими близкими понятиями онтологии
Проверка примеров показывает, что нет разделяющего свойства для сущностей монумент и памятник:
Маргарет Тэтчер, которой в Британии при жизни поставили памятник, узнала…
Авторы словаря: различия нейтрализуются при повторной, сокращенной номинации того же сооружения
Монумент, памятник –> одно понятие онтологии
Близкие значения разных слов: водитель и шофер
Синонимы во многих словарях синонимов
НОСС: шофер управляет только автомобилем или автобусом, водитель и другими транспортными средствами
Следовательно, вагоновожатый – водитель, но не шофер (в любом контексте)
Должно быть два понятия в онтологии:
ВОДИТЕЛЬ ТРАНСПОРТНОГО СРЕДСТВА (водитель)
ВОДИТЕЛЬ АВТОМОБИЛЯ (водитель, шофер)
Дополнение: шофер – обычно профессиональный работник!
Водитель транспортного средства (водитель)
Транспортный работник
Судоводитель
Вагоновожатый (водитель трамвая)
Водитель автомобиля (водитель)
Профессиональный водитель (шофер)
Таксист
Личный водитель (личный шофер)
Многозначность в тезаурусе
М-многозначность – одно и то же слово (словосочетание) соответствует двум понятиям: пилот – ЛЕТЧИК, АВТОГОНЩИК
Нужно выбрать значение
А-многозначность – в тезаурусе описано одно значение, но известно, что могут быть другие значения (пометка):
Львов – ЛЬВОВ (ГОРОД)
Нужно подтвердить/отвергнуть употребление значения
Число многозначных единиц в Тезаурусе РуТез
- 16 тысяч многозначных слов и выражений
Пополнение тезауруса РуТез
Новые реалии и пропущенная конкретика (пополнение Общ.-политического тезауруса):
Пойти под откос, остаться в стороне, замыть пятно, не обидеть способностями, тяжело даваться
Отношения в тезаурусе РуТез
Подходы к представлению отношений
Информационно-поисковые тезаурусы, ворднеты: небольшие наборы отношений
vs.
Наборы семантических отношений, произвольные набор предикатов
Но:
Большие затраты труда для широкой ПО
Непонятно, какой набор оптимален
Контекстная зависимость
Надежные отношения
Цель: необходимо использовать отношения, не имея возможности подробно проанализировать контекст упоминания понятия в тексте
Возможности систем автоматической обработки текста для анализа релевантности контекста ограничены
Необходимо найти и описать для понятия те отношения, которые выполняются для понятия практически всегда:
для всех или большинства примеров понятия
в течение всего (или почти всего) времени существования примера
Нужно описывать надежные отношения
Отношения в тезаурусе РуТез
отношение ВЫШЕ-НИЖЕ – таксономическое отношение Должно быть действительно для всех примеров понятий и все время их существования => Транзитивность, наследование
отношение ЧАСТЬ-ЦЕЛОЕ – традиционные части, участники ситуации, свойства НО!! Должно быть действительно для всех примеров понятий-частей и все время их существования => Транзитивность
Учет близких по смыслу понятий для вычисления веса понятия
Концептуальный индекс с весами
Лексическая связность: пример
О порядке оказания безвозмездной финансовой помощи
на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений
военнослужащим и гражданам, уволенным с военной службы
Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской
Федерации п о с т а н о в л я е т :
1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений
военнослужащим и гражданам, уволенным с военной службы.
2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба:
в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем)жилых помещений;
ЖИЛОЕ ПОМЕЩЕНИЕ (25)
ЖИЛОЕ ЗДАНИЕ (1)
КВАРТИРА (2)
А
А
СОБСТВЕННОСТЬ (1)
ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО (4)
КОМНАТА (ПОМЕЩЕНИЕ) (1)
В
В
НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ (13)
МНОГОКВАРТИРНЫЙ ДОМ (1)
ЗДАНИЕ (1)
СООРУЖЕНИЕ (1)
ЖИЛАЯ ПЛОЩАДЬ (1)
СТРОИТЕЛЬСТВО (12)
ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ (2)
ЖИЛИЩНАЯ НОРМА (2)
НАНЯТЬ (13)
ПОКУПКА (6)
ПЛАТИТЬ (1)
ДЕНЬГИ (22)
А
Тезаурусные отношения для документа
Вес понятия в тексте: тематическое представления
Главные темы
Локальные темы
Тематическая аннотация (Постановление Правительства РФ от 26 июня 1995 г. N 604)
Преимущества от онтологий и тезаурусов в разных приложениях
Information Retrieval Tasks
Benefits
Web Search
0+ %
Corporate Search / Legal Search
10 %
Long Queries / Verbose Queries
15 %
Text Categorization
15-50 %
News Clustering
6-15 %
Summarization, Visualization, Multi Document Summarization
++ (SUMMAC)
Заключение
В течение более чем 15 лет мы разрабатываем тезаурусы и исследуем технологии их применения для решения различных задач автоматической обработки текстов и информационного поиска
Наши выводы:
Структура тезауруса, онтологии должна быть специально адаптирована к задачам автоматической обработки текстов
Тезаурусные технологии не должны противопоставляться современным технологиям пословной обработки текстов, а органично учитывать последние достижения в этой сфере
При учете таких условий применение тезаурусов дает значимое улучшение качества решения задачи по сравнению с лучшими пословными методами
