Kai prieš kelerius metus Meta (tuometinis Facebook) paskelbė apie projektą pavadinimu No Language Left Behind, dauguma vertimo srities entuziastų tiesiog gūžtelėjo pečiais – dar vienas didelis technologijų žaidėjas žada išspręsti kalbų barjerą. Bet kai pažiūrėjai giliau, paaiškėjo, kad čia kalbama ne apie dar vieną anglų-ispanų ar anglų-prancūzų vertimo patobulinimą, o apie kažką, kas iš tikrųjų palietė šimtus kalbų, kurios anksčiau vertimo pasaulyje egzistavo tik teoriškai. NLLB modelis pakeitė tai, kaip mes žiūrime į mažų ir vadinamųjų „mažai resursų turinčių” kalbų vertimą, ir šiandien apie jį verta pasikalbėti rimčiau, ypač jei naudojatės automatinio vertimo įrankiais kasdien.
Kas tiksliai yra NLLB ir iš kur jis atsirado
NLLB reiškia No Language Left Behind – „nė viena kalba nepaliekama nuošalyje”. Tai Meta AI komandos sukurtas mašininio vertimo modelis, kurio pagrindinis tikslas buvo aprėpti apie 200 kalbų, tarp jų ir tokias, kurioms iki tol praktiškai nebuvo jokių kokybiškų automatinio vertimo sprendimų. Kalbame apie kalbas kaip luganda, dari, kinjaruanda, ar net tokias, kuriomis kalba vos keli milijonai žmonių pasaulyje.
Projektas pradėtas ne šiaip sau – Meta komanda pastebėjo akivaizdžią problemą: dauguma egzistuojančių vertimo sistemų buvo optimizuotos didelėms kalboms, kurioms yra gausu tekstinių duomenų internete. Anglų, ispanų, kinų, prancūzų – šioms kalboms duomenų yra begalės. O štai kažkokiai afrikiečių ar Pietryčių Azijos kalbai tinkamų lygiagrečių tekstų (tekstų, kurie išversti į kitą kalbą ir gali būti naudojami mokymui) tiesiog nebuvo arba jų buvo labai mažai.
Kodėl tai buvo iššūkis
Norint apmokyti neuroninį vertimo modelį, reikia didelio kiekio duomenų – idealiu atveju milijonų sakinių porų abiem kalbomis. Su mažai resursų turinčiomis kalbomis tokių duomenų tiesiog nėra internete, nes jomis rašoma mažiau, o skaitmenizacija vyksta lėčiau. NLLB komanda sprendė šią problemą keliais būdais – rinko duomenis iš įvairiausių šaltinių, naudojo automatinį duomenų generavimą ir taikė vadinamąjį transfer learning metodą, kai modelis mokosi iš giminingų kalbų struktūrų.
Technologija po gaubtu – kaip tai veikia praktiškai
NLLB modelis remiasi transformerio architektūra – ta pačia, kuri naudojama daugelyje šiuolaikinių kalbos modelių. Tačiau įdomiausia dalis yra ne pati architektūra, o būdas, kuriuo modelis buvo apmokytas suprasti tiek daug kalbų vienu metu.
Vietoj to, kad kiekvienai kalbų porai būtų kuriamas atskiras modelis (kas praktiškai reikštų tūkstančius atskirų sistemų 200 kalbų atveju), NLLB naudoja vieną didelį daugiakalbį modelį, kuris gali versti tarp bet kurios iš palaikomų kalbų porų. Tai ne tik efektyviau techniškai, bet ir suteikia netikėtą privalumą – modelis gali „pasimokyti” iš vienų kalbų vertimo kokybės ir pritaikyti tai kitoms, panašioms kalboms.
Praktiniame lygmenyje tai reiškia, kad jei modelis gerai išmoko versti, pavyzdžiui, iš prancūzų į anglų, jis dažnai geriau susitvarko ir su kitomis romanų kalbomis, net jei tų kalbų duomenų buvo santykinai mažai. Panašus efektas pastebimas ir tarp giminingų slavų, afrikos bantų grupės ar dravidų kalbų.
Duomenų rinkimo virtuvė
Vienas įdomesnių NLLB projekto aspektų – kaip buvo surinkti mokymo duomenys retesnėms kalboms. Komanda pasitelkė vadinamąjį back-translation metodą, kai turimi vertimai naudojami sukurti sintetiniams duomenims kita kryptimi, taip pat bendradarbiavo su vietinėmis bendruomenėmis ir kalbininkais, kurie padėjo patikrinti duomenų kokybę. Tai nebuvo greitas procesas – kalbame apie metus trukusį darbą, kuriame dalyvavo šimtai žmonių iš skirtingų šalių.
Kuo NLLB skiriasi nuo Google Translate ar DeepL
Čia verta būti sąžiningam – jei jums reikia išversti tekstą iš anglų į vokiečių ar iš ispanų į italų, NLLB tikriausiai nebus geresnis pasirinkimas nei DeepL ar Google Translate. Šie komerciniai įrankiai jau seniai pasiekė labai aukštą kokybę populiariausioms kalbų poroms, ir konkuruoti su jais tose srityse būtų sunku bet kam.
Tačiau situacija apsiverčia, kai reikia versti mažiau paplitusias kalbas. Būtent čia NLLB tikrai išsiskiria – jis siūlo padorią kokybę kalboms, kurioms kiti įrankiai arba visai nesiūlo vertimo, arba siūlo tokį prastą, kad rezultatas praktiškai nenaudingas. Kalbame apie situacijas, kai žmogui reikia išversti dokumentą iš svahili ar amharų, ir vienintelis realus pasirinkimas anksčiau buvo arba profesionalus vertėjas (jei tokį pavyksta rasti), arba beveik nesuprantamas mašininis vertimas.
Dar vienas svarbus skirtumas – NLLB yra atviro kodo projektas. Meta paskelbė modelio svorius ir kodą viešai, todėl bet kas gali jį naudoti, tobulinti ar integruoti į savo produktus. Tai visiškai kitoks požiūris nei uždaros komercinių įrankių sistemos, kur vartotojas mato tik galutinį rezultatą, bet neturi jokios prieigos prie paties modelio.
Kalbos, kurios pagaliau sulaukė dėmesio
Verta paminėti konkrečius pavyzdžius, nes skaičiai patys savaime skamba abstrakčiai. NLLB palaiko tokias kalbas kaip:
- Volofų kalba (Vakarų Afrika)
- Ačehiečių kalba (Indonezija)
- Baskų kalba (Ispanija/Prancūzija)
- Tibeto kalba
- Mizoramo kalba (Indija)
- Kelios kreolų kalbos, tokios kaip haitiečių kreolų
Kiekviena iš šių kalbų turi savo bendruomenę, kuriai kokybiškas automatinis vertimas reiškia realią prieigą prie informacijos – nuo medicininių tekstų iki švietimo medžiagos. Tai nėra vien akademinis pratimas – kalbų barjeras dažnai reiškia realų atsijungimą nuo pasaulinio informacijos srauto, ir NLLB, nors ir netobulai, bando šią spragą sumažinti.
Lietuvių kalbos atvejis
Lietuvių kalba, palyginti su kitomis NLLB apimtomis kalbomis, jau turi gana neblogą padėtį – ji nėra viena iš „mažai resursų” kalbų šio projekto prasme, nors pasaulio mastu kalbančiųjų skaičius nėra didelis. Tačiau NLLB modelio principai – kaip generuoti duomenis, kaip pasitelkti giminingas kalbas mokymui – aktualūs ir mūsų kalbai, ypač kai kalbama apie retesnius dialektus ar specifines sritis, kur duomenų vis tiek trūksta.
Ką tai reiškia praktiškai automatinio vertimo naudotojui
Jei esate įpratę naudoti vertimo portalus kasdieniams reikalams – dokumentams, el. laiškams, straipsniams – NLLB technologija greičiausiai jau veikia fone kai kuriuose iš tų įrankių, net jei to nepastebite. Daugelis vertimo platformų integruoja atvirojo kodo modelius arba jų atmainas būtent retesnėms kalboms, kur savarankiškai kurti modelį būtų per brangu.
Praktinis patarimas – jei verčiate tekstą iš ar į retesnę kalbą ir rezultatas atrodo keistokas, verta pabandyti kelis skirtingus įrankius. Kadangi skirtingi portalai naudoja skirtingas modelio versijas ar konfigūracijas, kokybė gali stipriai skirtis net tarp tos pačios kalbų poros.
Taip pat verta žinoti, kad NLLB, kaip ir bet koks mašininio vertimo modelis, turi savo silpnybes:
- Idiomos ir vaizdinga kalba dažnai verčiamos pažodžiui, prarandant prasmę
- Specifinė terminija (teisinė, medicininė, techninė) gali būti netiksli
- Kultūrinis kontekstas ne visada perteikiamas teisingai
- Ilgi, sudėtingi sakiniai su keliais šalutiniais sakiniais kartais suskaidomi neteisingai
Svarbių dokumentų – sutarčių, oficialių pareiškimų, medicininės informacijos – atveju automatinis vertimas turėtų būti tik pradinis žingsnis, po kurio seka žmogaus atliekama peržiūra. Tai galioja bet kokiam mašininio vertimo įrankiui, ne tik NLLB.
Kur ši technologija juda toliau
Meta komanda nesustojo ties pirmine versija. Vėlesnės NLLB iteracijos gerino ne tik kalbos aprėptį, bet ir pačią vertimo kokybę, mažino haliucinacijas (kai modelis „sugalvoja” tekstą, kurio originalo nebuvo) ir dirbo su tokso rizika – kai vertimas netyčia sugeneruoja įžeidžiantį ar netinkamą turinį.
Kita svarbi kryptis – balso ir teksto vertimo sujungimas. Jei jau turime tekstinį modelį, kuris supranta 200 kalbų, logiškas kitas žingsnis – pritaikyti tuos pačius principus kalbos atpažinimui ir sintezei. Tai atveria galimybę realaus laiko vertimui kalbomis, kurios iki šiol tokios funkcijos neturėjo išvis.
Ką visa tai reiškia jums kaip vertimo įrankio naudotojui
Grįžtant prie esmės – NLLB nėra stebuklinga lazdelė, kuri išsprendė vertimo problemą amžinai. Tai vienas iš svarbiausių žingsnių link teisingesnio požiūrio į kalbas, kurios ilgą laiką liko technologinės pažangos paribiuose. Jei jums reikia versti dokumentus iš anglų ar rusų kalbos, tikriausiai net nepastebėsite, kad ši technologija egzistuoja – jūsų kasdieniai įrankiai jau seniai puikiai susitvarko su tomis kalbomis be jokios papildomos pagalbos.
Bet jei kada nors teko bandyti išversti tekstą iš, tarkim, birmiečių, nepalų ar somalio kalbos ir susidurti su rezultatu, kuris skambėjo kaip atsitiktinis žodžių rinkinys – štai kur NLLB tipo modeliai keičia žaidimą. Rekomenduočiau keletą praktinių dalykų, jei dažnai dirbate su retesnėmis kalbomis:
- Išbandykite kelis skirtingus vertimo įrankius tai pačiai kalbų porai – rezultatai gali skirtis nustebinamai stipriai
- Trumpi, aiškūs sakiniai visada verčiami geriau nei ilgi ir sudėtingi
- Jei įmanoma, palyginkite vertimą su antru šaltiniu ar gimtakalbiu, ypač kai tekstas svarbus
- Nepamirškite, kad atviro kodo modeliai, tokie kaip NLLB, nuolat tobulinami – tai, kas atrodė prastai prieš metus, šiandien gali būti visai kitokia kokybė
- Specifinei terminijai (teisinei, medicininei) visada verta pasitelkti profesionalų vertėją, nesvarbu, kokia kalba
Kalbų barjeras niekada visiškai neišnyks – bent jau ne artimiausiu metu. Bet kiekvienas toks projektas, kuris rimtai imasi mažiau matomų kalbų, priartina mus prie pasaulio, kuriame informacija ir bendravimas nepriklauso nuo to, kokia kalba gimei kalbėti. Ir tai, manau, verta pastebėti bei įvertinti, net jei technologija dar toli gražu netobula.
