11 Часть I. Компоненты 14 Глава Компьютерная

= ^∏
m i=1
q(a_i | i, k, m) × t (х_i| y_ai) (19)

Рассмотрим подробнее последовательность упрощений в (19), по- скольку подобные приемы используются во многих статистических моде- лях языка.
Первое упрощение связано со свойствами условной и совместной ве- роятности. Это свойство можно записать следующим образом:
p(A B| условия) = p(B| условия) × p(A| B, условия) (20) Перепишем по этой схеме формулу (17):
р⁽х₁ х₂ … х_m, a₁ a₂ … a_m ^| y₁ y₂ … y_k, m) =
= р⁽ a₁ … a_m ^| y₁ … y_k, m) × р⁽х₁ … х_m^| a₁ … a_m, y₁ … y_k, m) (21)
Теперь рассмотрим каждую из двух составляющих в этой формуле отдельно. Начнем с первого множителя:
р⁽ a₁ … a_m ^| y₁ … y_k, m) = р⁽ a₁ ^| y₁ … y_k, m) ×
× р⁽ a₂ ^| a₁, y₁ … y_k, m) ×
× р⁽ a₃ ^| a₁ a₂, y₁ … y_k, m) × … ×
× р⁽ a_m ^| a₁ … a_m−1, y₁ … y_k, m)

= ^∏
m i=1
p(a_i |a₁ … a_i−1, y₁ … y_k, m) (22)

Так раскладывается на множители первый элемент в формуле (21). Осталось только придумать, как вычислять для всех i элементы р(a_i | a … a_i-1, у₁… у_k, m). Модель IBM-2 и здесь сильно упрощает ситуацию. Она предлагает рассматривать их как параметры системы и считать по форму- ле q(a_i | i_, k, m):

∏
m i=1
p(a_i |a₁ … a_i−1, y₁ … y_k, m) ≈ ^∏m
q(a_i |i, k, m) (23)

i=1
Вспомним, что означают элементы параметра q(a_i | i_, k, m). В правой его части записаны условия: длина исходного предложения m, длина ко- нечного предложения k, а также номер слова i в исходном предложении. При этих условиях мы вычисляем значение переменной a_i, которая соот- ветствует номеру того слова в переводе, которое связано со словом номер i в исходном предложении.
Другими словами, модель IBM-2 учитывает вероятность того, что слово номер i в исходном предложении связано со словом номер a_i в пере- воде, а длины предложений при этом равны, соответственно, m и k. Состав предложений при этом значение не имеет.
Теперь рассмотрим вторую составляющую в формуле (21):
р⁽х₁ … х_m^| a₁ … a_m, y₁ … y_k, m).
Ее тоже можно переписать:
р⁽х₁ … х_m^| a₁ … a_m, y₁ … y_k, m) = р⁽х₁ ^| a₁ … a_m, y₁ … y_k, m) ×
× р⁽ х₂ ^| х₁, a₁ … a_m, y₁ … y_k, m) × … ×
× р⁽ х_m ^| х₁ … х_m−1, a₁ … a_m, y₁ … y_k, m)

= ^∏
m i=1
p(х_i |х₁ … х_i−1, a₁ … a_m, y₁ … y_k, m) (24)

Получившееся произведение довольно сложное, и модель IBM-2 его тоже очень сильно упрощает. Она убирает из условий все значения а, все значения предыдущих х и все значения y кроме того, которое по выравни- ванию связано с x_i. Остается такой параметр: t(х_i | y_ai)

Таким образом, подставив оба параметра в систему, мы получаем следующую формулу:
р⁽х₁ х₂ … х_m, a₁ a₂ … a_m ^| y₁ y₂ … y_k, m) =

= ^∏
m i=1
q(a_i | i, k, m) × t (х_i| y_ai) (25)

Если мы хотим оценить вероятность того, что английское предложе- ние I have seen it all — это перевод с русского оригинала Я всё это видел с