11 Часть I. Компоненты 14 Глава Компьютерная
Как сделать корпус самому
жүктеу/скачать 4,29 Mb.
|
nikolaev is mitrenina ov lando tm red prikladnaia i kompiute
Как сделать корпус самомуКаждый хороший корпус — это результат многолетней работы мно- гих людей, требующей высокой квалификации. Поэтому обычно удобнее пользоваться готовыми корпусами — вряд ли вам удастся создать что-то более мощное, чем имеющиеся в открытом доступе ресурсы. Список не- которых национальных корпусов приводится в приложении к этой главе, в сети можно найти и огромное число самых разных специализированных корпусов. Но иногда возникает необходимость в каком-то особом корпусе. На- пример, вы решили с нуля создать корпус какого-то редкого языка. Или для создания робота, управляющего трактором, вам понадобился корпус высказываний трактористов во время работы, чтобы робот правильно взаимодействовал с коллегами на соседних машинах. Или прикладной лингвист захочет провести машинное обучение с помощью данных, кото- рые отсутствуют в стандартном корпусе. Во всех этих случаях нужно создавать корпус своими руками. Прежде всего нужно четко сформулировать задачу и понять, какой корпус мы хо- тим создать. Процесс создания корпуса — это несколько процедур: токе- низация, фильтрация, устранение дублей, морфологическая разметка, син- таксическая разметка, загрузка корпусных данных и др. — каждая из ко- торых требует своих программных средств. Поэтому правильнее всего выбрать систему, где эти средства интегрированы в единый комплекс. Ес- тественно, этот выбор требует определенных знаний, понимания цели и готовности идти на определенные компромиссы. Систем, позволяющих создавать свои корпусы, не так много. Для не- больших корпусов (1-10 млн словоупотреблений) можно порекомендовать AntConc. При этом нужно знать, что в этой системе отсутствует модуль лемматизации и морфологической разметки (можете без этого обойтись? идите на компромисс!). Для создания больших корпусов или для досту- па к большой функциональности лучше всего воспользоваться услугами Sketch Engine, предоставляющей бесплатную регистрацию в течение ме- сяца (годовая лицензия на одного пользователя стоит 52 брит. фунта). При этом Sketch Engine позволяет создавать корпусы как на основе собствен- ных текстов, так и по технологии wacky на основе текстов из Интернета. жүктеу/скачать 4,29 Mb. Достарыңызбен бөлісу:
|