Jei kada domėjotės, kaip veikia šiuolaikinės vertimo programos ir iš kur jos „žino“, kaip vieną sakinį paversti iš anglų į lietuvių ar iš vokiečių į prancūzų, greičiausiai anksčiau ar vėliau atsidursite prie vieno pavadinimo – Europarl korpusas. Tai vienas iš tų dalykų, apie kuriuos kalbų technologijų pasaulyje visi žino, bet už jo ribų mažai kas girdėjo. O jis, be jokios ironijos, yra vienas svarbiausių statybinių blokų, ant kurių išaugo dabartinis mašininis vertimas.
Kas per reikalas tas Europarl korpusas
Paprastai kalbant, Europarl korpusas – tai didžiulis rinkinys tekstų, surinktų iš Europos Parlamento posėdžių protokolų. Kadangi Europos Sąjungoje kalbama daugybe kalbų ir visi svarbūs dokumentai turi būti verčiami į visas oficialias ES kalbas, per dešimtmečius susikaupė milžiniškas kiekis tekstų, kurie egzistuoja lygiagrečiai – tas pats sakinys anglų kalba, tas pats sakinys lietuvių kalba, tas pats vokiečių kalba ir taip toliau.
Tokie lygiagretūs tekstai kalbų technologijų srityje vadinami paraleliniu korpusu. Ir čia slypi visas grožis – kai turi milijonus sakinių, kurie yra vienas kito vertimai, gali mokyti kompiuterį atpažinti dėsningumus, kaip viena kalba „virsta“ kita. Būtent tuo Europarl ir naudingas – jis nemokamas, viešai prieinamas ir aprėpia dešimtis kalbų porų.
Kaip jis susidarė ir kas jame slypi
Korpusą 2005 metais surinko Philip Koehn, mokslininkas, kuris tuo metu dirbo su statistinio mašininio vertimo sistemomis. Jis paėmė Europos Parlamento posėdžių protokolus nuo 1996 iki maždaug 2011 metų (vėliau atsirado ir papildytų versijų) ir sutvarkė juos taip, kad tekstai skirtingomis kalbomis būtų sulygiuoti sakinio lygmenyje.
Skamba paprastai, bet realybėje tai buvo nemažas iššūkis. Parlamento kalbėtojai ne visada laikosi griežtos struktūros, vertimai kartais laisviau interpretuoja originalą, kai kur trūksta ištisų fragmentų. Todėl teko sukurti algoritmus, kurie automatiškai suranda, kuris sakinys vienoje kalboje atitinka kurį sakinį kitoje. Rezultatas – korpusas, apimantis apie 21 ES kalbą, su milijonais sakinių porų kiekvienai kalbų kombinacijai.
Verta paminėti, kad tekstai nėra „gyva“, šnekamoji kalba. Tai politinės diskusijos, kalbos, pareiškimai, procedūriniai klausimai – tekstai gana formalūs, kartais net biurokratiškai sausi. Bet tai netgi turi savo pliusą, apie kurį pakalbėsime kiek vėliau.
Kodėl šis korpusas tapo mašininio vertimo pagrindu
Iki giliojo mokymosi (deep learning) eros mašininis vertimas rėmėsi statistiniais modeliais. Tokiems modeliams reikėjo begalės duomenų – kuo daugiau lygiagrečių sakinių, tuo tiksliau sistema mokosi, kaip žodžiai ir frazės atitinka vieni kitus skirtingose kalbose. Europarl atsirado tinkamu momentu ir tapo vienu populiariausių šaltinių tokiam mokymui, ypač todėl, kad jis buvo nemokamas ir jau paruoštas naudojimui.
Kai atėjo neuroninio mašininio vertimo era (apie 2014–2016 metus), poreikis dideliems duomenų kiekiams tik išaugo. Neuroniniai tinklai, tokie kaip tie, kuriais remiasi Google Translate, DeepL ar kitos populiarios sistemos, buvo treniruojami naudojant ne vien Europarl, bet jis dažnai įtrauktas kaip bazinis komponentas, ypač mažesnėms ar retesnėms kalboms, kurioms trūksta kitų duomenų šaltinių.
Lietuvių kalbai, tarp kitko, Europarl tapo vienu iš pirmųjų didelio mastelio šaltinių, leidžiančių mokyti sistemas, verčiančias tarp lietuvių ir kitų ES kalbų. Prieš tai tokių duomenų tiesiog nebuvo tiek daug viešoje erdvėje.
Kur šis korpusas silpnas – ir kodėl to reikia žinoti
Nors korpusas nuostabus savo apimtimi, jis toli gražu nėra idealus. Pirma problema – stilistinis vienpusiškumas. Kadangi visi tekstai kilę iš parlamentinių diskusijų, sistema, mokoma vien iš Europarl, gali labai gerai versti formalius, politinius tekstus, bet visiškai „pasiklysti“, kai reikia išversti šnekamosios kalbos posakį, žargoną ar humoristinį tekstą.
Antra – kai kurie vertimai patys savaime nėra idealūs. ES vertėjai, kaip ir visi žmonės, dirba spaudžiami laiko, ir kartais vertimas yra labiau parafrazė nei tikslus atitikmuo. Kai tokie netikslumai patenka į mokymo duomenis, modelis juos „paveldi“ ir gali kartoti panašias klaidas.
Trečia – korpuso amžius. Kalba nuolat keičiasi, atsiranda naujų terminų, naujų realijų (pagalvokite apie skaitmeninius, technologinius terminus, kurių 1996 metais tiesiog neegzistavo). Todėl vien Europarl duomenimis mokyta sistema gali atrodyti kiek „pasenusi“ šiuolaikinio konteksto atžvilgiu.
Praktinė pusė – kaip tai paveikia jūsų kasdienį vertimą
Jei naudojatės automatinio vertimo įrankiais ir pastebite, kad kai kurie tekstai išverčiami itin sklandžiai, o kai kurie – kiek keistai, dažnai priežastis slypi tame, kokie duomenys buvo naudoti sistemai mokyti. Formalūs, biurokratiniai, teisiniai ar administraciniai tekstai paprastai verčiami geriau tiesiog todėl, kad tokio tipo tekstų mokymo duomenyse (įskaitant Europarl) yra daugiausia.
Praktinis patarimas – jei verčiate teisinį dokumentą, sutartį ar kokį nors administracinį raštą, automatinio vertimo rezultatai turėtų būti gana patikimi kaip pradinis variantas. Tačiau jei verčiate reklaminį tekstą, poeziją ar šnekamosios kalbos dialogą, geriau būkite atsargūs ir peržiūrėkite rezultatą kruopščiau – sistemai tiesiog trūksta tokio stiliaus pavyzdžių.
Kitas patarimas tiems, kurie patys dirba su kalbų technologijomis ar tik domisi tema – Europarl korpusą lengva rasti internete (jis prieinamas per statmt.org svetainę) ir juo galima naudotis nemokamai tiek moksliniams tyrimams, tiek asmeniniams eksperimentams. Jei norite pasibandyti sukurti savo vertimo modelį ar tiesiog pasidomėti, kaip sudaromi tokie duomenų rinkiniai, tai geras startas.
Kitos panašios iniciatyvos, apie kurias verta žinoti
Europarl nėra vienintelis toks korpusas, tiesiog jis vienas iš pirmųjų ir žinomiausių. Yra ir kitų panašių iniciatyvų – pavyzdžiui, JRC-Acquis (ES teisės aktų korpusas), OpenSubtitles (subtitrų korpusas, kuris, kitaip nei Europarl, apima šnekamąją kalbą ir yra puikus priešnuodis biurokratiniam Europarl stiliui), arba ParaCrawl, kuris renka lygiagrečius tekstus tiesiog iš interneto.
Daugelis šiuolaikinių vertimo sistemų naudoja ne vieną, o keliolika ar keliasdešimt tokių duomenų šaltinių vienu metu, tarp jų subtitrus, naujienų straipsnius, Vikipedijos tekstus, techninę dokumentaciją. Europarl tiesiog išlieka kaip patikimas, švarus ir gerai struktūruotas komponentas šiame mišinyje, ypač formaliajai kalbos daliai.
Ką iš viso šito verta pasiimti su savimi
Europarl korpusas – tikras pavyzdys, kaip iš atrodytų nuobodžių biurokratinių protokolų gali išaugti kažkas iš tikrųjų reikšmingo. Tai priminimas, kad kalbų technologijos nesikuria vakuume – jos maitinamos konkrečiais, žmonių sukurtais tekstais, su visomis jų ypatybėmis, stiprybėmis ir trūkumais.
Kitą kartą, kai automatinio vertimo įrankis stebėtinai gerai išverčia formalų sakinį, bet suklumpa ties paprastu šnekamosios kalbos posakiu, prisiminkite – tai ne atsitiktinumas. Tai tiesiog atspindys to, kokiais duomenimis sistema buvo mokyta. Ir jei jums kada nors reikės vertimo įrankio politiniam, teisiniam ar administraciniam tekstui – galite ramiai pasitikėti, kad tokio pobūdžio tekstams sistemos yra „prisiuostę“ tikrai daug ir gerai paruoštos medžiagos, kurios šaknys dažnai veda tiesiai į Europos Parlamento archyvus.
Galiausiai, jei kada nors susidomėsite, kaip veikia vertimo technologijos giliau – nebijokite pasidomėti tokiais korpusais patys. Nereikia būti programuotoju ar kalbininku, kad suprastumėte pagrindinę idėją: geros vertimo sistemos gimsta iš gerų, gausių ir tvarkingų duomenų, o Europarl yra vienas gražiausių to pavyzdžių, kurį kalbų technologijų bendruomenė sukūrė ir padovanojo visiems nemokamai.
