11 Часть I. Компоненты 14 Глава Компьютерная


Как сделать корпус самому



бет102/197
Дата19.03.2022
өлшемі4,29 Mb.
#136225
түріЛитература
1   ...   98   99   100   101   102   103   104   105   ...   197
Байланысты:
nikolaev is mitrenina ov lando tm red prikladnaia i kompiute

Как сделать корпус самому


Каждый хороший корпус — это результат многолетней работы мно- гих людей, требующей высокой квалификации. Поэтому обычно удобнее пользоваться готовыми корпусами — вряд ли вам удастся создать что-то более мощное, чем имеющиеся в открытом доступе ресурсы. Список не- которых национальных корпусов приводится в приложении к этой главе, в

сети можно найти и огромное число самых разных специализированных корпусов.


Но иногда возникает необходимость в каком-то особом корпусе. На- пример, вы решили с нуля создать корпус какого-то редкого языка. Или для создания робота, управляющего трактором, вам понадобился корпус высказываний трактористов во время работы, чтобы робот правильно взаимодействовал с коллегами на соседних машинах. Или прикладной лингвист захочет провести машинное обучение с помощью данных, кото- рые отсутствуют в стандартном корпусе.
Во всех этих случаях нужно создавать корпус своими руками. Прежде всего нужно четко сформулировать задачу и понять, какой корпус мы хо- тим создать. Процесс создания корпуса — это несколько процедур: токе- низация, фильтрация, устранение дублей, морфологическая разметка, син- таксическая разметка, загрузка корпусных данных и др. — каждая из ко- торых требует своих программных средств. Поэтому правильнее всего выбрать систему, где эти средства интегрированы в единый комплекс. Ес- тественно, этот выбор требует определенных знаний, понимания цели и готовности идти на определенные компромиссы.
Систем, позволяющих создавать свои корпусы, не так много. Для не- больших корпусов (1-10 млн словоупотреблений) можно порекомендовать AntConc. При этом нужно знать, что в этой системе отсутствует модуль лемматизации и морфологической разметки (можете без этого обойтись?

  • идите на компромисс!). Для создания больших корпусов или для досту- па к большой функциональности лучше всего воспользоваться услугами Sketch Engine, предоставляющей бесплатную регистрацию в течение ме- сяца (годовая лицензия на одного пользователя стоит 52 брит. фунта). При этом Sketch Engine позволяет создавать корпусы как на основе собствен- ных текстов, так и по технологии wacky на основе текстов из Интернета.





    1. Достарыңызбен бөлісу:
1   ...   98   99   100   101   102   103   104   105   ...   197




©engime.org 2024
әкімшілігінің қараңыз

    Басты бет