«FarDU ilmiy xabarlari» Volume 31 Issue 3 (2025)
O‘ZBEK TILI IYERARXIK KORPUSINI YARATISHDA MA’LUMOTLAR BAZASINI YIG‘ISH, GAPLARNI ANNOTATSIYALASH VA TOKENLASH JARAYONI
Rahimboeva, Hulkar
Abstract
<p>Ushbu maqolada o‘zbek tili iyerarxik tahlili korpusini yaratish bosqichlari haqida keng yoritiladi. Xalqaro tajribada biror tilning iyerarxik tahlili korpusini yaratish uchun asosiy beshta soddalashtirilgan bosqichlar mavjudligi va ular haqida keng bayon etiladi. Ushbu bosqichlar quyidagicha: Matnlarni tanlash; oldindan ishlov berish vositalari va manbalarini tanlash; Annotatsiyalash bosqichi; O‘zbek tiliga xos qo‘llanmani hujjatlashtirish va tilning universal bo‘lmagan xususiyatlarini ta’minlash va transliteratsiya bosqichlaridir</p>
Annotatsiyabosqichtokenlashlemmalashmatn tanlovihujjatlashtirishyo‘riqnomanatijajarayonAnnotation
Metadata source: the journal's OAI-PMH archive · Sindex does not store the full text; it links to the source.