Kai kalbame apie automatinio vertimo kokybę, greitai paaiškėja, kad vien akimis pažiūrėti į tekstą ir pasakyti „gerai” ar „blogai” – nebe pakankamas metodas. Vertimo pramonė, o kartu ir mašininio vertimo kūrėjai, seniai ieško būdų, kaip objektyviai, skaičiais išmatuoti, ar vertimas yra tikslus, natūralus ir prasmingas. Vieną iš tokių metodų – COMET – šiandien verta panagrinėti detaliau, nes jis tapo faktiniu standartu kalbant apie neuroninio vertimo sistemų vertinimą.
Kas iš tikrųjų yra COMET
COMET (Crosslingual Optimized Metric for Evaluation of Translation) – tai automatinio vertimo vertinimo sistema, kurią sukūrė Unbabel tyrimų komanda ir kuri per pastaruosius metus praktiškai išstūmė senesnius metodus, tokius kaip BLEU. Skirtingai nei BLEU, kuris tiesiog lygina žodžių ir frazių sutapimus tarp automatinio vertimo ir žmogaus atlikto etaloninio vertimo, COMET naudoja neuroninius tinklus, kurie „supranta” prasmę, o ne vien paviršinį teksto panašumą.
Praktiškai tai reiškia, kad COMET gali įvertinti vertimą kaip gerą net jei jame naudoti kitokie žodžiai nei etaloniniame tekste – svarbu, kad prasmė būtų perteikta teisingai. Tai didelis žingsnis į priekį, nes žmonės, verčiantys tą pačią frazę, retai pasirenka identiškus žodžius, tačiau tai nereiškia, kad vienas iš vertimų yra prastesnis.
Kaip metrika veikia iš vidaus
COMET pagrindas – iš anksto apmokytas kalbos modelis (dažniausiai XLM-RoBERTa tipo architektūra), kuris analizuoja tris elementus vienu metu: originalų šaltinio tekstą, automatinio vertimo išvestį ir žmogaus sukurtą etaloninį vertimą. Šie trys tekstai paverčiami vektoriais, o modelis mokosi, kaip šie vektoriai turėtų santykiauti, kad atspindėtų žmonių vertintojų sprendimus.
Svarbu paminėti, kad COMET modeliai yra treniruojami naudojant tikrus žmonių vertinimus – tai vadinama žmogaus sprendimų duomenų rinkiniais (human judgment datasets). Tai reiškia, kad metrika iš esmės mokosi imituoti tai, kaip žmogus vertintų vertimo kokybę, o ne tiesiog skaičiuoja sutampančius žodžius. Dėl šios priežasties COMET rezultatai geriau koreliuoja su žmogaus nuomone nei tradiciniai metodai.
Yra keli COMET modelio variantai – vieni naudoja etaloninį vertimą (reference-based), kiti gali veikti be jo, lygindami tik šaltinio tekstą su vertimu (reference-free, pavyzdžiui, COMET-QE). Pastarasis variantas ypač naudingas, kai etaloninio vertimo tiesiog neturime, pavyzdžiui, vertinant realaus laiko vertimus gamybinėje aplinkoje.
Kodėl BLEU jau nebeatitinka realybės
Ilgą laiką BLEU buvo vertimo pramonės standartas – paprastas, greitai apskaičiuojamas, lengvai suprantamas skaičius. Bet problema ta, kad BLEU labai priklauso nuo paviršinio žodžių sutapimo. Jei automatinio vertimo sistema parenka sinonimą arba pakeičia sakinio struktūrą (kas kalboms, tokioms kaip lietuvių, su gana laisva žodžių tvarka, yra visiškai normalu), BLEU balas nukrenta, nors vertimas gali būti visiškai teisingas ir natūralus.
COMET šią problemą sprendžia iš esmės – jis vertina semantinį panašumą, ne leksinį. Tai reiškia, kad sistema, verčianti „automobilis sugedo” kaip „transporto priemonė nustojo veikti”, COMET metrikoje gaus gerokai geresnį įvertinimą nei tuo pačiu atveju BLEU sistemoje, nes prasmė perteikta teisingai, nepaisant kitokio žodžių pasirinkimo.
Praktinis naudojimas vertimo darbe
Jei dirbate su automatinio vertimo sistemomis, testuojate skirtingus modelius arba tiesiog norite palyginti, kuris vertimo variklis geriau tinka jūsų tekstams, COMET gali būti labai naudingas įrankis. Tipinis darbo eiga atrodo taip: paimate tekstų rinkinį, kuris turi žmogaus sukurtus etaloninius vertimus, paleidžiate kelis vertimo modelius per tuos pačius tekstus, tada apskaičiuojate COMET balus kiekvienam variantui ir lyginate rezultatus.
COMET balai dažniausiai svyruoja nuo 0 iki 1 (kartais pateikiami procentais arba normalizuoti kitaip, priklausomai nuo konkrečios modelio versijos), kur aukštesnis skaičius reiškia geresnę kokybę. Verta žinoti, kad absoliutus skaičius pats savaime nedaug pasako – svarbiau lyginti kelis vertimus tarpusavyje ir žiūrėti į skirtumus. Jei vienas modelis nuosekliai gauna aukštesnius COMET balus nei kitas per didelį tekstų rinkinį, tai jau rodo realų kokybės skirtumą, ne atsitiktinumą.
Techniškai COMET naudoti nėra sudėtinga – yra atviro kodo Python biblioteka, kurią galima įdiegti per pip ir naudoti komandinėje eilutėje arba integruoti į savo skriptus. Tam reikia tam tikrų techninių žinių, tačiau daugumai vertimo agentūrų ar didesnių įmonių, dirbančių su lokalizacijos procesais, tai jau tapo įprasta praktika.
Kur COMET susikirsta su realiu vertimo darbu
Nors COMET yra žymiai pažangesnis nei senesni metodai, jis nėra be trūkumų. Pirma, metrika vis tiek remiasi apmokymo duomenimis, kurie daugiausia surinkti iš tam tikrų kalbų porų ir domenų. Tai reiškia, kad rečiau naudojamoms kalboms, ypač tokioms kaip lietuvių, latvių ar estų, COMET modelio tikslumas gali būti kiek mažesnis nei, pavyzdžiui, anglų-vokiečių kalbų porai, kur duomenų yra gerokai daugiau.
Antra, COMET, kaip ir bet kuri automatinė metrika, negali pilnai pakeisti žmogaus redaktoriaus. Jis gali gerai atspindėti bendrą semantinį tikslumą, tačiau subtilūs stiliaus, tono ar kultūrinio pritaikymo aspektai vis tiek reikalauja žmogaus akies. Vertimas gali būti semantiškai teisingas, bet skambėti nenatūraliai arba neatitikti tikslinės auditorijos lūkesčių – tokius dalykus COMET ne visada pagauna tiksliai.
Trečia, reikia atsargiai vertinti COMET balus, kai lyginate skirtingas kalbų poras tarpusavyje. Balas 0.85 vienoje kalbų poroje nebūtinai reiškia tą pačią kokybę kaip 0.85 kitoje – skalės ir pasiskirstymas gali skirtis priklausomai nuo kalbos sudėtingumo ir modelio apmokymo duomenų.
COMET vs kitos šiuolaikinės metrikos
Verta paminėti, kad COMET nėra vienintelis šios naujos kartos metodas. Egzistuoja ir BLEURT, kuris veikia panašiu principu naudodamas BERT tipo architektūrą, taip pat chrF ir chrF++, kurie yra kompromisas tarp klasikinių ir neuroninių metodų, skaičiuojantys simbolių n-gramų sutapimus, todėl geriau tinka morfologiškai sudėtingoms kalboms nei paprastas BLEU.
Vis dėlto pastaraisiais metais COMET tapo dominuojančiu pasirinkimu tarp tyrėjų bendruomenės ir tokių organizacijų kaip WMT (Workshop on Machine Translation), kurios rengia metinius vertimo sistemų konkursus. Tai savotiškas patvirtinimas, kad metrika iš tikrųjų geriau atspindi žmogaus vertinimą nei alternatyvos, bent jau daugumoje ištirtų kalbų porų.
Ką visa tai reiškia paprastam vertimų naudotojui
Jei nesate mašininio vertimo tyrėjas ar programuotojas, gali kilti klausimas – kam man visa ši informacija? Atsakymas paprastas: kai renkatės, kuriuo automatinio vertimo įrankiu naudotis, arba kai bandote suprasti, kodėl viena vertimo sistema jums atrodo geresnė už kitą, verta žinoti, kad rimtos įmonės ir tyrėjai savo sprendimus dažnai pagrindžia tokiais objektyviais rodikliais kaip COMET, o ne vien subjektyviu „man patinka” jausmu.
Taip pat, jei jūsų įmonė svarsto investuoti į savo vertimo modelio kūrimą ar pritaikymą (fine-tuning) konkrečiai sričiai, COMET metrikos naudojimas testavimo etape leidžia objektyviai palyginti, ar naujas modelio variantas iš tikrųjų geresnis, ar tiesiog atrodo geresnis pavieniuose pavyzdžiuose.
Vietoj išvadų: ką pasiimti sau iš šios istorijos
Jei turėtumėte pasiimti vieną mintį iš viso šito – tai būtų tokia: automatinio vertimo kokybės vertinimas subrendo. Nebeliko laikų, kai skaičiavimas, kiek žodžių sutampa tarp dviejų sakinių, buvo geriausias mūsų turimas įrankis. COMET ir jo panašūs metodai leidžia žiūrėti giliau – į prasmę, ne į paviršių.
Praktiškai, jei jums reikia palyginti kelis vertimo variklius ar modelio versijas, rekomenduočiau pradėti nuo mažo, gerai parengto testinio tekstų rinkinio su kokybiškais etaloniniais vertimais – kuo įvairesnis tekstų domenas (techniniai tekstai, teisiniai dokumentai, kasdienė kalba), tuo patikimesnis bus rezultatas. Nepasitikėkite vienu skaičiumi iš vieno sakinio – COMET, kaip ir kiekviena statistinė metrika, tampa patikima tik dideliuose duomenų kiekiuose.
Ir galiausiai, net jei automatinis vertinimas rodo puikius balus, neatsisakykite žmogaus peržiūros bent svarbiausiems tekstams – ypač jei kalbame apie viešai skelbiamą turinį, teisinius dokumentus ar rinkodaros medžiagą, kur klaidos kaina gerokai didesnė nei paprastam vidiniam susirašinėjimui. COMET yra puikus kompasas, rodantis bendrą kryptį, tačiau galutinį maršrutą vis tiek geriausiai nustato žmogaus akis ir supratimas apie kontekstą, kurio joks modelis, bent kol kas, negali visiškai pakeisti.
