Eurasian Journal of Mathematical Theory and Computer Sciences 2-jild 14-son (2022) · 71–75-betlar
СОСТАВЛЕНИЕ СЛОВАРЯ: ТОКЕНИЗАЦИЯ СЛОВ
Ахмедов, Э.Ю, Хаитбоева, Д.З
DOI: 10.5281/zenodo.7493692 · Manbada o'qish → · PDF (manba serverida)
Annotatsiya
Задачи, стоящие перед современной лингвистикой, выдвинули на первый план использование компьютерной техники для автоматической обработки текстов. Задача использования современных компьютерных технологий в лексикографии остается по-прежнему актуальной и требует детального изучения. Современные вычислительные средства дают возможность автоматизировать лексикографическую работу практически на всех этапах - от выбора цитат до редактирования словаря и его печати.
Корпус текстов, верстка словаря, словари морфологического анализа, токенизация, словарь – лексикон, синтаксический анализатор – компилятор, токен, терм, слово, n-грамма - токен, символ или терминальный символ.
Metadata manbasi: jurnal OAI-PMH arxivi · Sindex to'liq matnni saqlamaydi, manbaga havola beradi.