Eurasian Journal of Social Sciences, Philosophy and Culture 3-jild 3-son (2023) · 49–58-betlar

ПРОЦЕСС ОБРАБОТКИ УЗБЕКСКОГО ПАРАЛЛЕЛЬНОГО КОРПУСА В УСЛОВИЯХ НЕДОСТАТОЧНОСТИ ДАННЫХ

Авезов, Сухроб, Юсупова, Альфия

DOI: 10.5281/zenodo.7714460 · Manbada o'qish → · PDF (manba serverida)

Annotatsiya

Параллельные корпуса являются необходимым компонентом для разработки качественных систем машинного перевода, однако сбор соответствующих данных представляет собой сложную задачу. Когда богатая морфология языка увеличивает разреженность данных, необходимо иметь точные методы выравнивания и фильтрации, которые позволят эффективно использовать имеющуюся информацию, максимально увеличивая количество корректно переведенных сегментов в корпусе и минимизируя наличие шума, путем удаления неправильных переводов и сегментов, содержащих посторонние данные. В данной статье описывается план исследования по улучшению методов выравнивания и фильтрации параллельных текстов в условиях ограниченных ресурсов. Предлагается эффективный неконтролируемый метод выравнивания, способный решить проблему выравнивания, а также стратегия дополнения современных моделей автоматически извлекаемой информацией, с использованием основных инструментов NLP для эффективной обработки богатой морфологии языков.

Параллельные корпуса, системы машинного перевода, морфология языка, методы выравнивания, методы фильтрации, неконтролируемый метод выравнивания, NLP (обработка естественного языка).

Metadata manbasi: jurnal OAI-PMH arxivi · Sindex to'liq matnni saqlamaydi, manbaga havola beradi.