11 Часть I. Компоненты 14 Глава Компьютерная

жүктеу/скачать 4,29 Mb.

бет	123/197
Дата	19.03.2022
өлшемі	4,29 Mb.
	#136225
түрі	Литература

1 ... 119 120 121 122 123 124 125 126 ... 197

Байланысты:
nikolaev is mitrenina ov lando tm red prikladnaia i kompiute

Модели перевода, основанные на словах

Первые попытки построить модель перевода были связаны с анали- зом отдельных слов, поэтому их общепринятое название — модели пере- вода, основанные на словах (word-based translation models). В этой об- ласти классическими стали подходы, разработанные в компании IBM, ко- торые так и называются: модель IBM-1, модель IBM-2, и так далее до мо- дели IBM-5. О них подробно рассказывается, например в курсе Михаэля Коллинза на Coursera и в учебнике [Koehn 2010].
Рассмотрим, как устроены эти модели. Напомню, что мы ищем зна- чение p(x|y). Это «обратная вероятность», то есть вероятность того, что предложение х является исходным по отношению к конечному предложе- нию у.
В предыдущем разделе мы анализировали английское предложение I have seen it all и его возможный перевод на русский язык Я всё это видел. Значит, мы пытаемся оценить условную вероятность p (I have seen it all | Я всё это видел).
Попробуем записать формулу вероятности несколько подробнее. До- пустим, конечное предложение у состоит из k слов: у₁, у₂ … у_k, а исходное предложение х, вероятность которого мы ищем, состоит из m слов: х₁, х₂ … х_m. Тогда нас интересует значение вероятности р(х₁, х₂ … х_m |у₁, у₂ … у_k).
Но посчитать такую вероятность напрямую очень сложно. Многие модели упрощают эту формулу необычным способом — в нее добавляют дополнительные параметры. Это длина исходного предложения m и вы- равнивание по словам а₁, а₂ … а_m. Длина исходного предложения m счита- ется известной, потому что мы оцениваем вероятность для конкретного предложения х₁, х₂ … х_m.
Тогда формула искомой вероятности будет выглядеть так:

р(х₁ х₂ … х_m, a₁ a₂ … a_m |у₁ у₂ … у_k, m) (17)

Опишем словами, что обозначает формула (17). Это условная вероят- ность. У нас есть предложение-перевод, которое состоит из последова- тельности слов <у₁, у₂ … у_k>, известна также длина исходного предложе- ния — m слов. Это условия для вычисления условной вероятности того, что исходное предложение состоит из последовательности m слов: <х₁, х₂
… х_m>, и что его выравнивание по словам с предложением х описывается последовательностью 1, a₂ … a_m>.
Если исходное английское предложение I have seen it all состоит из пяти слов, то m = 5. Его возможный перевод на русский язык — Я всё это видел. Выравнивание этих предложений задается массивом а₁, а₂, а₃, а₄, а₅
= <1, 4, 4, 3, 2>.
Подставим эти значения в нашу формулу. Нас интересует следующая условная вероятность:
р(I have seen it all, 1 4 4 3 2 | Я всё это видел, 5) (18) Но как научиться считать эту вероятность? Один из способов предла-
гает модель IBM˗2. Она упрощает формулу условной вероятности сле- дующим образом:
р⁽х₁ х₂ … х_m, a₁ a₂ … a_m ^|y₁ y₂ … y_k, m) =

= ^∏
m i=1
q(a_i | i, k, m) × t (х_i| y_a_i) (19)

Рассмотрим подробнее последовательность упрощений в (19), по- скольку подобные приемы используются во многих статистических моде- лях языка.
Первое упрощение связано со свойствами условной и совместной ве- роятности. Это свойство можно записать следующим образом:
p(A B| условия) = p(B| условия) × p(A| B, условия) (20) Перепишем по этой схеме формулу (17):
р⁽х₁ х₂ … х_m, a₁ a₂ … a_m ^|y₁ y₂ … y_k, m) =
= р⁽a₁ … a_m ^|y₁ … y_k, m) × р⁽х₁ … х_m^|a₁ … a_m, y₁ … y_k, m) (21)
Теперь рассмотрим каждую из двух составляющих в этой формуле отдельно. Начнем с первого множителя:
р⁽a₁ … a_m ^|y₁ … y_k, m) = р⁽a₁ ^|y₁ … y_k, m) ×
× р⁽a₂ ^|a₁, y₁ … y_k, m) ×
× р⁽a₃ ^|a₁ a₂, y₁ … y_k, m) × … ×
× р⁽a_m ^|a₁ … a_m−1, y₁ … y_k, m)

= ^∏
m i=1
p(a_i |a₁ … a_i−1, y₁ … y_k, m) (22)

Так раскладывается на множители первый элемент в формуле (21). Осталось только придумать, как вычислять для всех i элементы р(a_i | a … a_i-1, у₁… у_k, m). Модель IBM-2 и здесь сильно упрощает ситуацию. Она предлагает рассматривать их как параметры системы и считать по форму- ле q(a_i | i_, k, m):

∏
m i=1
p(a_i |a₁ … a_i−1, y₁ … y_k, m) ≈ ^∏m
q(a_i |i, k, m) (23)

i=1
Вспомним, что означают элементы параметра q(a_i | i_, k, m). В правой его части записаны условия: длина исходного предложения m, длина ко- нечного предложения k, а также номер слова i в исходном предложении. При этих условиях мы вычисляем значение переменной a_i, которая соот- ветствует номеру того слова в переводе, которое связано со словом номер i в исходном предложении.
Другими словами, модель IBM-2 учитывает вероятность того, что слово номер i в исходном предложении связано со словом номер a_i в пере- воде, а длины предложений при этом равны, соответственно, m и k. Состав предложений при этом значение не имеет.
Теперь рассмотрим вторую составляющую в формуле (21):
р⁽х₁ … х_m^|a₁ … a_m, y₁ … y_k, m).
Ее тоже можно переписать:
р⁽х₁ … х_m^|a₁ … a_m, y₁ … y_k, m) = р⁽х₁ ^|a₁ … a_m, y₁ … y_k, m) ×
× р⁽х₂ ^|х₁, a₁ … a_m, y₁ … y_k, m) × … ×
× р⁽х_m ^|х₁ … х_m−1, a₁ … a_m, y₁ … y_k, m)

= ^∏
m i=1
p(х_i |х₁ … х_i−1, a₁ … a_m, y₁ … y_k, m) (24)

Получившееся произведение довольно сложное, и модель IBM-2 его тоже очень сильно упрощает. Она убирает из условий все значения а, все значения предыдущих х и все значения y кроме того, которое по выравни- ванию связано с x_i. Остается такой параметр: t(х_i | y_ai)

Таким образом, подставив оба параметра в систему, мы получаем следующую формулу:
р⁽х₁ х₂ … х_m, a₁ a₂ … a_m ^|y₁ y₂ … y_k, m) =

= ^∏
m i=1
q(a_i | i, k, m) × t (х_i| y_a_i) (25)

Если мы хотим оценить вероятность того, что английское предложе- ние I have seen it all — это перевод с русского оригинала Я всё это видел с

упомянутым выше выравниванием <1 4 4 3 2>, то по формуле (25) нам надо посчитать следующее выражение:

жүктеу/скачать 4,29 Mb.

Достарыңызбен бөлісу:

1 ... 119 120 121 122 123 124 125 126 ... 197