Kai kalbame apie automatinį vertimą, dažniausiai galvojame apie algoritmus, neuroninius tinklus ar dirbtinį intelektą kaip apie kažkokią magišką juodąją dėžę. Iš tikrųjų viskas kur kas paprasčiau ir kartu sudėtingiau – be kokybiškų duomenų joks algoritmas nieko neišmoks. Ir čia į sceną išeina lygiagretieji tekstynai – tikrasis kiekvieno vertimo įrankio pamatas, apie kurį dažnas vartotojas net nepagalvoja, kai spusteli mygtuką „versti“.
Kas iš tikrųjų yra tas lygiagretusis tekstynas
Įsivaizduokite lentelę su dviem stulpeliais. Kairėje – sakinys lietuviškai, dešinėje – tas pats sakinys, tik išverstas į anglų kalbą. Dabar padauginkite tą lentelę milijonus kartų, pridėkite dar kelias kalbas, ir turėsite gan tikslų vaizdą, kas yra lygiagretusis tekstynas. Tai tekstų rinkinys, kuriame kiekvienas fragmentas viena kalba turi savo atitikmenį kita kalba – dažniausiai tai tas pats dokumentas, tik skirtingomis kalbomis parašytas.
Skamba nesudėtingai, tiesa? Bet čia ir slypi visas įdomumas. Toks tekstynas nėra tiesiog du tekstai, sudėti vienas šalia kito – jis turi būti sulygiuotas. Sakinys po sakinio, kartais net žodis po žodžio. Ir būtent šis lygiavimas (angliškai – alignment) yra tas darbas, kuris atskiria naudingą duomenų rinkinį nuo chaotiško teksto krūvos.
Kodėl vertimo sistemoms be to neapsieiti
Statistiniai vertimo modeliai, kurie dominavo iki maždaug 2016-2017 metų, tiesiogine prasme mokėsi iš tokių lentelių – skaičiavo, kaip dažnai vienas žodis ar frazė atitinka kitą, ir taip kūrė tikimybinius modelius. Neuroniniai tinklai, kuriuos naudoja dauguma šiuolaikinių sistemų (įskaitant Google Translate, DeepL ar mūsų pačių naudojamus įrankius), veikia sudėtingiau, bet principas išlieka tas pats – reikia pavyzdžių, iš kurių mokytis.
Kuo daugiau kokybiškų lygiagrečių sakinių turi modelis, tuo geriau jis supranta kalbos niuansus, idiomas, konkrečios srities terminologiją. Štai kodėl teisinių dokumentų vertimas dažnai būna tikslesnis nei, tarkime, poezijos ar šnekamosios kalbos – teisiniai tekstai turi daugiau standartizuotų, pasikartojančių struktūrų, o tokių tekstynų yra tiesiog daugiau.
Įdomu tai, kad skirtingos kalbų poros turi labai nevienodą kiekį duomenų. Anglų–prancūzų kalbų pora turi milijardus sakinių, nes Europos Sąjungos institucijos dešimtmečius verčia dokumentus abiem kryptimis. O štai retesnės kalbų kombinacijos, pavyzdžiui, lietuvių–suomių, tokio duomenų kiekio neturi net iš tolo, todėl vertimai tarp tokių kalbų dažnai eina per tarpinę kalbą (paprastai anglų).
Iš kur tie tekstynai atsiranda
Vienas didžiausių šaltinių – tarptautinės organizacijos. Europos Sąjungos institucijos verčia viską į visas oficialias kalbas, todėl susikaupė milžiniškas Europarl tekstynas, kuriame sudėti Europos Parlamento debatų protokolai dešimtimis kalbų. Panašiai veikia ir Jungtinės Tautos su savo dokumentais.
Kitas šaltinis – programinės įrangos lokalizacija. Kai „Microsoft“ ar „Ubuntu“ verčia savo sąsajas į dešimtis kalbų, tie vertimai dažnai patenka į viešai prieinamus duomenų rinkinius. Yra ir toks projektas kaip OPUS – tai tarsi didelis skėtis, jungiantis dešimtis skirtingų tekstynų iš įvairiausių sričių: nuo filmų subtitrų (OpenSubtitles) iki teisinių tekstų.
Beje, subtitrai – įdomus atvejis. Jie suteikia daug šnekamosios, natūralios kalbos pavyzdžių, kurių trūksta oficialiuose dokumentuose. Bet subtitrų vertimai dažnai būna gan laisvi, pritaikyti prie ekrano laiko ir vietos, tad kokybės požiūriu jie gerokai skiriasi nuo, tarkim, ES teisės aktų.
Lygiavimas – ten, kur prasideda tikrasis galvos skausmas
Sakykime, turite du dokumentus – originalą ir vertimą. Atrodytų, tereikia sudėti sakinius eilės tvarka. Bet vertėjai retai verčia sakinys po sakinio tiksliai išlaikydami tą pačią struktūrą. Kartais du sakiniai originale virsta vienu vertime, kartais atvirkščiai. Kartais visa pastraipa perrašoma taip, kad tiesioginio atitikmens tiesiog nėra.
Automatinio lygiavimo algoritmai (populiariausi – Gale-Church, Hunalign, Bleualign) bando išspręsti šią problemą remdamiesi sakinių ilgiu, žodyno panašumu ar net esamais vertimo modeliais. Tačiau jokia sistema nėra tobula, ir dideliuose tekstynuose visada lieka tam tikras procentas klaidingai sulygiuotų porų. Būtent todėl kokybiškų tekstynų kūrėjai skiria daug laiko rankiniam patikrinimui – nors, žinoma, milijonų sakinių rankiniu būdu niekas netikrina, tikrinamos tik atrankinės imtys.
Kokybė svarbiau nei kiekis (bet kiekis irgi ne trukdo)
Ilgą laiką mokslinėje bendruomenėje vyravo nuomonė – kuo daugiau duomenų, tuo geriau. Iš dalies tai tiesa, bet pastaraisiais metais vis daugiau dėmesio skiriama duomenų švarumui. Vienas triukšmingas, blogai sulygiuotas sakinys tarp milijono gerų gali nepakenkti, bet jei tokių klaidų yra 10-15 procentų, modelio kokybė krenta stipriai.
Čia atsiranda vadinamasis duomenų filtravimas – procesas, kai iš didelio tekstyno pašalinami akivaizdžiai blogi pavyzdžiai: per ilgi ar per trumpi sakiniai, sakiniai kita kalba nei nurodyta, dubliuoti fragmentai, mašininio vertimo produktai (taip, būna ir taip, kad į „žmogaus vertimo“ tekstynus prisėlina automatiškai išversti tekstai, o tai kuria uždarą ratą, kuriame modelis mokosi iš savo paties klaidų).
Ką tai reiškia paprastam vertimo įrankio naudotojui
Galite paklausti – gerai, o man kaip iš to naudos? Suprasti, kaip veikia lygiagretieji tekstynai, praktiškai naudinga bent keliais aspektais.
- Supraskite, kodėl kai kurios sritys verčiamos geriau. Jei verčiate teisinį ar techninį tekstą, tikėtina, kad rezultatas bus tikslesnis nei verčiant, tarkime, poeziją ar slengą – tiesiog todėl, kad tokių tekstų tekstynuose gerokai daugiau.
- Atkreipkite dėmesį į kalbų porą. Vertimas iš anglų į vokiečių kalbą greičiausiai bus kokybiškesnis nei iš, sakykim, lietuvių į vietnamiečių – tiesiog dėl duomenų kiekio skirtumo.
- Jei kuriate savo terminų žodyną ar dirbate su specifine sritimi, verta ieškoti specializuotų tekstynų (pavyzdžiui, medicininių ar teisinių), kuriuos galima naudoti kaip papildomą atskaitos tašką, tikrinant automatinio vertimo tikslumą.
- Nepasitikėkite aklai, kai vertimo kryptis neįprasta. Jei sistema verčia per tarpinę kalbą (o taip dažnai nutinka retesnėms kalbų poroms), klaidų tikimybė padvigubėja, nes prie originalios klaidos prisideda dar viena, atsiradusi tarpiniame etape.
Jei norite patys pasidomėti ir pasižiūrėti, kaip atrodo realūs lygiagretieji tekstynai, OPUS projekto svetainė (opus.nlpl.eu) yra atviras ir nemokamas šaltinis – ten galima rasti dešimtis kalbų porų ir apsčiai skirtingų sričių tekstų. Tai puiki vieta pasidomėti, iš ko iš tikrųjų „mokosi“ vertimo įrankiai, kuriuos naudojame kasdien.
Vietoj taško – kelios mintys pakeliui
Lygiagretieji tekstynai – nelabai matoma, bet be galo svarbi automatinio vertimo dalis. Tai tarsi mokykla, kurioje vertimo sistema praleidžia tūkstančius valandų, mokydamasi ne iš taisyklių sąrašo, o iš realių pavyzdžių, kaip žmonės iš tikrųjų verčia vieni kitiems tekstus. Kuo įvairesnė ta mokykla, kuo daugiau joje skirtingų sričių, stilių ir kontekstų, tuo protingesnis tampa galutinis rezultatas.
Kitą kartą, kai automatinis vertimas nustebins jus arba tiksliu, arba nelabai vykusiu rezultatu, prisiminkite – už to sprendimo slypi ne tik algoritmas, bet ir milijonai sakinių, kuriuos kažkada, kažkur išvertė žmogus. O jei dirbate su vertimais profesionaliai ar tiesiog domitės kalbomis, verta pačiam pažvelgti į šiuos duomenų rinkinius – kartais suprasti, iš ko sistema „mokosi“, padeda geriau suprasti ir jos ribas, ir galimybes.
