11 Часть I. Компоненты 14 Глава Компьютерная
Методы оценки качества перевода
жүктеу/скачать 4,29 Mb.
|
nikolaev is mitrenina ov lando tm red prikladnaia i kompiute
Методы оценки качества переводаОценивать качество перевода можно с помощью экспертов или авто- матически, без участия людей. Для оценки с помощью экспертов нужны эксперты. В 1960-е года американская комиссия ALPAC пришла к выводу, что их должно быть не менее четырех человек. Для экспертной оценки существует несколько методик. Например, перевод каждого предложения эксперты могут оценивать по двум пара- метрам: полнота (adequacy) и гладкость (fluency). Полнота отвечает за точность перевода, а гладкость — за правильность фразы с точки зрения носителя языка. По каждому из этих параметров каждый эксперт ставит оценки переводам по заранее заданной шкале, например, от 1 до 4. Другой способ экспертной оценки — это выбор лучшего перевода из нескольких или ранжирование имеющихся переводов. Еще один подход связан с измерением времени и сил, затраченных человеком-редактором на исправление того или иного автоматического перевода. В любом случае, экспертный подход требует больших трудозатрат, а оценить с его помощью можно лишь небольшое число предложений. Го- раздо удобнее в этом отношении автоматическая оценка перевода. Автоматическая оценка предполагает сравнение переведенного текста с эталонным переводом. В качестве эталона может использоваться пере- вод, сделанный людьми, или отредактированный текст машинного пере- вода. Чем ближе результат к эталону, тем качественнее машинный пере- вод. Это метод довольно грубый, но его удобно применять при оценке больших объемов текста. В основе автоматической оценки перевода должна лежать определен- ная метрика, то есть способ числовой оценки различий между переводом и эталоном. Самая известная метрика называется BLEU (BiLingual Evaluation Understudy) [Papineni et al, 2002], предложенная компанией IBM в 2002 году. Она учитывает, сколько n-грамм совпадает в переводе и в эта- лоне, а затем по определенной формуле выводит оценку качества перевода по шкале от 0 до 100. Существуют и другие метрики оценки качества перевода: NIST, MERT, METEOR, TER. Посмотреть их работу, а заодно и оценить качество перевода различных переводчиков можно помощью бесплатной онлайн системы Asiya. При создании машинных переводчиков необходимо производить оценку качества после каждого серьезного изменения системы. Можно, например, автоматически отслеживать, какие предложения стали перево- диться иначе, а затем в каждом отдельном примере оценивать изменение перевода: стала ли новая версия лучше или хуже. Если процент ухудше- ний достаточно велик, изменение системы можно признать неудовлетво- рительным. жүктеу/скачать 4,29 Mb. Достарыңызбен бөлісу:
|