Kai kalbame apie automatinį vertimą, anksčiau ar vėliau užklumpame į klausimą – o kaip tą vertimą apskritai įvertinti? Ne akimis pažiūrėjus „atrodo neblogai”, o skaičiais, kuriuos galima palyginti tarp skirtingų sistemų, versijų ar net skirtingų dienų, kai algoritmas buvo perkonfigūruotas. Būtent čia į sceną žengia metrikos – TER ir METEOR yra dvi iš tų, kurios lingvistų ir programuotojų kalboje minimos gana dažnai, nors plačiajai publikai jos lieka gana paslaptingos. Pabandysiu paaiškinti, kas tai per žvėrys, kuo jie skiriasi vienas nuo kito ir, svarbiausia, kodėl apie juos apskritai verta žinoti, jei domitės vertimo technologijomis.
Kodėl vieno BLEU nepakanka
Ilgą laiką automatinio vertimo pasaulyje karaliavo BLEU metrika. Ji patogi, greita skaičiuoti, plačiai palaikoma bibliotekų – bet turi ir savo bėdų. BLEU iš esmės lygina, kiek n-gramų (žodžių sekų) sutampa tarp mašininio vertimo ir žmogaus sukurto etaloninio vertimo. Problema ta, kad kalba yra kur kas lankstesnė nei paprastas sekų sutapimas. Galima pasakyti tą pačią mintį dešimtimis skirtingų būdų, ir BLEU už tai nubaus, jei žodžiai nesutaps pažodžiui.
Būtent dėl šios priežasties tyrėjai pradėjo ieškoti alternatyvų arba papildomų įrankių, kurie geriau atspindėtų realią vertimo kokybę – tokią, kokią pajustų žmogus, skaitantis tekstą. TER ir METEOR atsirado kaip atsakas į skirtingus BLEU trūkumus, ir kiekviena iš jų pasirinko savo kelią.
TER – kiek redagavimų reikia, kad būtų idealu
TER reiškia Translation Edit Rate, arba lietuviškai galėtume vadinti redagavimo dažnio metrika. Idėja čia gana intuityvi ir netgi artima tam, ką daro vertėjai kasdien, redaguodami mašininio vertimo išvestį. Metrika skaičiuoja, kiek minimaliai reikia atlikti veiksmų – įterpti žodį, ištrinti, pakeisti arba perkelti į kitą vietą – kad mašininis vertimas taptų identiškas etaloniniam tekstui.
Formulė paprasta: paimamas redagavimų skaičius ir padalinamas iš vidutinio žodžių skaičiaus etaloniniame vertime. Kuo mažesnis TER balas, tuo geriau – tai reiškia, kad vertimą reikėjo taisyti mažiau. Jeigu TER lygus nuliui, vertimas sutampa su etalonu tobulai. Jei TER, tarkime, 0,3, tai maždaug reiškia, kad trečdalį žodžių teko keisti ar tvarkyti kažkokiu būdu.
Kas įdomu – TER leidžia ir žodžių perkėlimą (shift operaciją), o tai jau žingsnis į priekį lyginant su paprastu redagavimo atstumu, naudojamu, tarkim, rašybos tikrinimo programose. Jei sakinyje žodžių tvarka pasikeitusi, bet visi žodžiai vietoje, TER tai užskaitys kaip vieną perkėlimą, o ne kaip krūvą ištrynimų ir įterpimų. Tai svarbu, nes kalbose, tokiose kaip lietuvių, žodžių tvarka gana laisva, ir mašininis vertimas kartais tiesiog pakeičia sakinio struktūrą, nors prasmė lieka ta pati.
Kada TER ypač naudinga
Praktikoje TER dažniausiai naudojama vertimų biuruose ir įmonėse, kurios nori įvertinti, kiek realaus darbo post-editing procese reikės žmogui. Jei sistema rodo mažą TER balą, tai reiškia, kad redaktoriams reikės mažiau laiko taisant tekstą, o tai tiesiogiai verčiasi į sutaupytus pinigus ir valandas. Tiesa, kaip ir su bet kuria metrika, čia reikia atsargumo – TER neatsižvelgia į tai, ar pakeitimas iš tikrųjų buvo prasmingas, ar tik formalus.
METEOR – bandymas suprasti prasmę, ne tik žodžius
METEOR (Metric for Evaluation of Translation with Explicit ORdering) atsirado kaip tiesioginė reakcija į BLEU trūkumus, ypač tai, kad BLEU visiškai ignoruoja sinonimus, žodžių formas ir kontekstą. METEOR bando būti protingesnė – ji ne tik lygina tikslius žodžių sutapimus, bet ir atsižvelgia į:
- šaknų sutapimą (stemming) – pavyzdžiui, „eina” ir „ėjo” būtų laikomi giminingais žodžiais;
- sinonimus – naudojant leksinius resursus kaip WordNet, sistemos gali atpažinti, kad „didelis” ir „milžiniškas” reiškia panašų dalyką;
- žodžių tvarką – skaičiuojamas fragmentacijos rodiklis, kuris baudžia už chaotišką žodžių išsibarstymą sakinyje.
METEOR balas skaičiuojamas kombinuojant preciziją (precision) ir atkūrimą (recall), tačiau, skirtingai nei BLEU, čia recall gauna didesnį svorį. Tai svarbu, nes recall labiau atspindi, ar visa etaloninio teksto informacija buvo perteikta vertime, o ne tik tai, ar mašininio vertimo žodžiai buvo teisingi.
Galutiniame etape METEOR taiko baudos koeficientą už fragmentaciją – jei sutampantys žodžiai sakinyje išsibarstę chaotiškai, o ne surišti į vientisus blokus, balas mažėja. Tai leidžia bausti už vertimus, kurie technine prasme turi tuos pačius žodžius, bet sudėti visiškai netvarkingai.
Kalbos jautrumas – METEOR privalumas ir iššūkis
Vienas iš dalykų, kurį verta paminėti – METEOR kokybė labai priklauso nuo to, ar konkrečiai kalbai yra sukurti geri leksiniai ištekliai (sinonimų žodynai, morfologijos analizatoriai). Anglų kalbai tokių resursų apstu, todėl METEOR ten veikia puikiai. Tačiau mažesnėms kalboms, tarp jų ir lietuvių, tokių resursų mažiau, todėl METEOR balai gali būti mažiau tikslūs arba tiesiog remtis tik paprastu žodžių sutapimu be sinonimų atpažinimo. Tai svarbus niuansas, kurį reikia turėti omenyje, jei bandote lyginti vertimo sistemas lietuvių kalbai naudodami METEOR – rezultatai gali neatspindėti tikrosios situacijos taip tiksliai, kaip norėtųsi.
TER prieš METEOR – kuri metrika kada geresnė
Natūralu klausti, kurią metriką rinktis. Atsakymas, kaip dažnai būna, priklauso nuo to, ką norite išmatuoti.
Jei jus domina praktinis aspektas – kiek darbo reikės redaktoriui, kad ištaisytų mašininį vertimą – TER yra tiesioginis ir suprantamas pasirinkimas. Jos rezultatą lengva paaiškinti net žmogui, nesigilinančiam į kalbotyros subtilybes: „reikės pataisyti maždaug 20 procentų žodžių”.
Jei norite įvertinti, kiek vertimas apskritai perteikia prasmę, nepaisant to, kad žodžiai gali skirtis nuo etalono, METEOR bus informatyvesnė. Ji geriau koreliuoja su žmogaus vertinimu semantiniu lygmeniu, ypač kai kalbama apie kūrybiškesnius vertimus, kur tikslus pažodinis sutapimas nėra tikslas.
Verta paminėti ir tai, kad tyrimuose dažnai naudojamos abi metrikos kartu, papildant viena kitą, o dar geriau – papildant BLEU ir naujesnėmis, neuroninėmis metrikomis, tokiomis kaip COMET ar BERTScore, kurios naudoja giliuosius kalbos modelius prasmės panašumui vertinti. Bet apie tai jau kita istorija.
Kaip šios metrikos naudojamos realiame gyvenime
Automatinio vertimo kūrėjai retai remiasi vien viena metrika priimdami sprendimus. Tipiškas scenarijus – kuriant naują neuroninio vertimo modelį, komanda paleidžia testinį rinkinį (dažniausiai kelis tūkstančius sakinių porų), gauna vertimus iš skirtingų modelio versijų ir apskaičiuoja BLEU, TER ir METEOR balus lygiagrečiai. Jei visos trys metrikos rodo pagerėjimą, tai stiprus signalas, kad modelis realiai tapo geresnis, o ne tiesiog „apgavo” vieną konkrečią metriką.
Vertimų biuruose, kurie naudoja mašininį vertimą kaip pirmą etapą prieš žmogaus redagavimą (tai vadinama post-editing procesu), TER dažnai naudojama kaip kokybės kontrolės įrankis. Jei tam tikros kalbų poros nuolat rodo aukštą TER balą, tai signalas, kad reikia arba geresnio modelio, arba papildomo apmokymo duomenų toje kalbų poroje.
Akademiniuose tyrimuose METEOR dažnai pasirenkama, kai lyginamos sistemos, kurios generuoja gana kūrybiškus, o ne pažodinius vertimus – pavyzdžiui, poezijos ar literatūrinio teksto vertimo eksperimentuose, kur tikslus žodžių sutapimas su etalonu būtų per griežtas reikalavimas.
Metrikų ribos, kurias verta žinoti
Nė viena automatinė metrika nėra tobula, ir tai svarbu pasakyti garsiai. Tiek TER, tiek METEOR remiasi vienu ar keliais etaloniniais žmogaus vertimais, o kalba leidžia begalę teisingų variantų. Jei etaloninis vertimas suformuluotas vienaip, o mašininis vertimas – kitaip, bet abu teisingi, metrika vis tiek gali parodyti prastesnį rezultatą, nei realybėje yra.
Be to, nei viena iš šių metrikų neįvertina faktinio teksto teisingumo prasminiu lygmeniu taip gerai, kaip tai padarytų žmogus ekspertas. Jos yra statistiniai įrankiai, pagrįsti žodžių ir sekų sutapimu (su METEOR pridėjus šiek tiek semantikos), bet negali „suprasti” teksto taip, kaip tai daro kalbą mokantis žmogus. Todėl profesionaliuose projektuose automatinės metrikos visada derinamos su žmogaus atliekamu kokybės vertinimu, ypač kai kalbama apie svarbius, viešai skelbiamus tekstus.
Vietoj išvadų – ką iš viso to pasiimti sau
Jei dirbate su automatinio vertimo įrankiais, ar tai būtų paprastas teksto vertimas darbo reikmėms, ar rimtesnis lokalizacijos projektas, verta suprasti, kad skaičius „vertimo kokybė 85%” retai reiškia tą patį visose sistemose. TER ir METEOR matuoja skirtingus dalykus – viena skaičiuoja redagavimo pastangas, kita bando pagauti prasmės panašumą. Renkantis, kuria remtis, verta užduoti sau paprastą klausimą: ar man svarbu, kiek reikės taisyti tekstą rankomis, ar man svarbu, ar prasmė perteikta teisingai, net jei formuluotė kitokia?
Praktinis patarimas tiems, kas vertina vertimo sistemas patys – niekada nesiremkite viena metrika. Paleiskite tą patį testinį rinkinį per kelis skaičiavimus, palyginkite TER ir METEOR rezultatus, o jei yra galimybė, paprašykite bent kelių sakinių peržiūros žmogaus, mokančio abi kalbas. Automatinės metrikos puikiai tinka greitam palyginimui tarp modelio versijų arba tarp skirtingų vertimo paslaugų teikėjų, bet galutinį sprendimą dėl teksto, kuris bus skelbiamas viešai ar naudojamas svarbiems dokumentams, visada turėtų priimti žmogus.
Ir dar vienas dalykas, kurį verta įsidėmėti – šios metrikos nuolat tobulėja, atsiranda naujų variantų, pritaikytų konkretiems tikslams (pavyzdžiui, METEOR turi versijų, pritaikytų skirtingoms kalboms su savais sinonimų žodynais). Jei sekate automatinio vertimo naujienas, tikėtina, kad ateityje matysite vis daugiau hibridinių metrikų, jungiančių TER logiką su neuroniniais semantinio panašumo vertinimais. Bet kol tos naujos kartos įrankiai taps standartu, TER ir METEOR liks patikimais, gerai ištestuotais įrankiais, kuriuos verta turėti savo įrankių dėžutėje.
