Adapting Multilingual Neural Machine Translation to Unseen Languages

Surafel M. Lakew; Alina Karakanta; Marcello Federico; Matteo Negri; Marco Turchi

Adapting Multilingual Neural Machine Translation to Unseen Languages ቋንቋዎች Translate late to hidden languages Turjumista luuqadaha qarsoon

Surafel M. Lakew, Alina Karakanta, Marcello Federico, Matteo Negri, Marco Turchi

Abstract

Multilingual Neural Machine Translation (MNMT) for low- resource languages (LRL) can be enhanced by the presence of related high-resource languages (HRL), but the relatedness of HRL usually relies on predefined linguistic assumptions about language similarity. Recently, adapting MNMT to a LRL has shown to greatly improve performance. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adapta- tion. In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRLen). We further show that dynamic adaptation of the model’s vocabulary results in a more favourable segmentation for the LRL in comparison with direct adaptation. Experiments show re- ductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. Our method outperforms current approaches, such as massively multilingual models and data augmentation, on four LRL.

Abstract

Veelvuldige Neurale Masjien Vertaling (MNMT) vir lae- hulpbron tale (LRL) kan deur die voorsiening van verwante hoë- hulpbron tale (HRL) verbeter word, maar die verwantigheid van HRL is gewoonlik op vooraf definieerde lingvisiese voorstellings oor taal gelykenis. Onlangs het die aanpassing van MNMT na 'n LRL vertoon om baie verbeter te maak. In hierdie werk, ons ondersoek die probleem van aanpassing van 'n MNMT model na' n ongesien LRL met gebruik van data keuse en model adapta- tion. In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. Ons uitbreidig uitsoek data keuse in populêre multitaalske NMT-instellings, bedoel in (nul-skoot) vertaling en in aanpassing van 'n multitaalske vooraf-onderwerp model, vir beide rigtings (LRL en). Ons vertoon verder dat dinamiese aanpassing van die model se woordeboek resultaat in 'n meer gunstige segmentasie vir die LRL in vergelyking met direk aanpassing. Eksperimente vertoon weer- ductions in oefening tyd en betekende funksie verskaffings oor LRL basisline, selfs met nul LRL data (+13. 0 BLEU), tot by +17. 0 BLEU vir vooraf- oefen multilinglike model dinamike aanpassing met verwante data keuse. Ons metode uitvoer huidige toegang, soos massief multilinglike modele en data augmentasie, op vier LRL.

Abstract

የብዙ ቋንቋዎች የኔural machine ትርጓሜ (MNMT) ለlow-resource ቋንቋዎች (LRL) በተቃራረበ ከፍተኛ-resource ቋንቋዎች (HRL) ሊበረታ ይችላል፤ ነገር ግን የHRL ግንኙነት በተቀድሞ በቋንቋ ብጤት ላይ በተመሳሳይ ቋንቋ ይታያል። በቅርብ ጊዜ MNMT ወደ LRL በመጠቀም የራሳቸውን ትክክል ማድረግ አሳየ፡፡ በዚህ ስራ ውስጥ የMNMT ሞዴል በመቀበል እና የዳታ ምርጫ እና ሞዴል አዲፕታ በመጠቀም የደረሰውን LRL ማቀናቀል መከራን እንፈልጋለን፡፡ LRL ለማሻሻል፣ LRL በመስመር ቋንቋ ርቀት ላይ በተመሳሳይ HRL ዳታዎችን ለመምረጥ እናስቸጋጅላለን፡፡ We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRL en). እናሳየዋለን የሞዴል ቃላት አካባቢ አካባቢ እንዲያሳየው የLRL አካባቢ አካባቢ እንዲያሳየው፡፡ ፈተናዎች የልዩ ቋንቋ ሞዴል እና አካባቢ የLRL መቀመጫዎች ላይ አግኝቷል፡፡ ዘዴያችን በአራቱ LRL ላይ ብዙ ቋንቋዎች እና ዳታ አጨማሪነቱን የሚያደርግ የአሁኑን ደረጃዎች ያሳያል፡፡

Abstract

يمكن تحسين الترجمة الآلية العصبية متعددة اللغات (MNMT) للغات منخفضة الموارد (LRL) من خلال وجود لغات ذات موارد عالية (HRL) ، لكن ارتباط HRL يعتمد عادةً على افتراضات لغوية محددة مسبقًا حول تشابه اللغة. في الآونة الأخيرة ، أظهر تكييف MNMT مع LRL أنه يحسن الأداء بشكل كبير. في هذا العمل ، نستكشف مشكلة تكييف نموذج MNMT مع LRL غير المرئي باستخدام اختيار البيانات وتكييف النموذج. من أجل تحسين NMT لـ LRL ، نستخدم الحيرة لتحديد بيانات HRL الأكثر تشابهًا مع LRL على أساس مسافة اللغة. نستكشف على نطاق واسع اختيار البيانات في إعدادات NMT الشائعة متعددة اللغات ، وبالتحديد في الترجمة (بدون طلقة) ، وفي التكيف من نموذج متعدد اللغات مدرب مسبقًا ، لكلا الاتجاهين (LRL↔en). نوضح كذلك أن التكيف الديناميكي لمفردات النموذج ينتج عنه تقسيم أكثر ملاءمة لـ LRL مقارنةً بالتكيف المباشر. تُظهر التجارب انخفاضًا في وقت التدريب ومكاسب كبيرة في الأداء عبر خطوط الأساس LRL ، حتى مع عدم وجود بيانات LRL (+13.0 BLEU) ، حتى +17.0 BLEU للتكيف الديناميكي للنموذج متعدد اللغات المدربين مسبقًا مع اختيار البيانات ذات الصلة. تتفوق طريقتنا في الأداء على الأساليب الحالية ، مثل النماذج متعددة اللغات على نطاق واسع وزيادة البيانات ، على أربعة LRL.

Abstract

Daha düşük ressurs dillərinin (LRL) çoxlu dillərin nöral maşına çevirisi (MNMT) ilə bağlı yüksək ressurs dillərinin (HRL) vasitəsilə daha yaxşılaşdırılabilir, amma HRL'in bağlılığı genellikle dil bənzəriliyi barəsində əvvəlcə belə tanımlanmış dillərin zənnələrinə bağlıdır. Son zamanlarda, MNMT'i LRL'ə uyğunlaşdırmaq çox xeyirli olaraq göstərildi. Bu işdə, MNMT modelini görmədiyimiz LRL-ə uyğunlaşdırmaq problemini keşfetirik, məlumat seçimləri və modelləri uyğunlaşdırmaq üçün. LRL üçün NMT yaxşılaşdırmaq üçün, dil uzaqlaşığına görə LRL məlumatlarını seçmək üçün ən bənzər HRL məlumatlarını istifadə edirik. Biz çox dilli NMT ayarlarında məlumat seçimlərini çox təhsil edirik, bu da (zero-shot) tercümələrində və çox dilli öyrənmiş modellərdən uyğunlaşdırılır, iki tərəfdən (LRL en). Daha sonra model in in s özlərinin dinamik uyğunlamasını göstəririk ki, LRL üçün düzgün uyğunlaşdırılması ilə qarşılaşdırmaq üçün daha yaxşı bir segmentasyon olar. Həqiqətən, təhsil vaxtında yenidən təhsil və möhkəm təhsil göstəricisi LRL təhsil çətinlərini, hətta Sıfır LRL veriləri (+13.0 BLEU) ilə +17.0 BLEU ilə birlikdə təhsil edilmiş çoxlu dil modeli dinamik uyğunlaşdırması üçün göstərir. Bizim metodumuz, dörd LRL üzerində çoxlu dil modelləri və məlumatları artırmaq kimi, ağıllı tərzlərindən daha çox yaxınlaşır.

Abstract

Многоезичният неврален машинен превод (MNMT) за езици с нисък ресурс (LRL) може да бъде подобрен чрез наличието на свързани езици с висок ресурс (HRL), но връзката на HRL обикновено разчита на предварително определени езикови предположения за езиковата сходство. Наскоро адаптирането на MNMT към LRL показа значително подобряване на производителността. В тази работа изследваме проблема за адаптирането на модел към невидим ЛРЛ, използвайки избор на данни и адаптация на модела. За да подобрим НМТ за ЛРЛ, използваме объркване, за да изберем данни за ЛРЛ, които са най-подобни на ЛРЛ въз основа на езиковото разстояние. Изследваме обстойно подбора на данни в популярни многоезични настройки на НМТ, а именно в (нулев) превод и адаптация от многоезичен предварително обучен модел, за двете посоки. Освен това показваме, че динамичната адаптация на речника на модела води до по-благоприятна сегментация за ЛРЛ в сравнение с директната адаптация. Експериментите показват повторение на времето за обучение и значително повишаване на производителността спрямо базовите линии на ЛРЛ, дори при нулеви данни за ЛРЛ (+13.0 BLU), до +17.0 BLU за предварително обучена многоезична динамична адаптация на модела със съответния подбор на данни. Нашият метод превъзхожда настоящите подходи, като масово многоезични модели и увеличаване на данните, на четири ЛРЛ.

Abstract

নিম্ন- সম্পর্কিত উচ্চ সম্পদ ভাষার (এইচআরএল) উপস্থিতির মাধ্যমে অনেক ভাষায় নিউরেল মেশিন অনুবাদ (এমএনএমটি) বাড়িয়ে দিতে পারে, কিন্তু এইচআরএলের সম্পর্ক সাধারণত ভাষার সমতুল্য সম্পর্কে ন সম্প্রতি এমএনএমটিকে এলআরএলের কাছে প্রতিযোগিতা বেশি উন্নত করে দেখিয়েছে। এই কাজে আমরা একটি এমএনএমটি মডেল প্রতিষ্ঠানের সমস্যা খুঁজে বের করি একটি অদৃশ্য এলআরএলের মাধ্যমে ডাটা নির্বাচন এবং মডেল অ্যাডাপ্ট In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. জনপ্রিয় বহুভাষায় এনএমটি বৈশিষ্ট্যের মাধ্যমে আমরা ব্যাপক তথ্য নির্বাচন খুঁজে বের করি, যেমন (শূন্য-শুট) অনুবাদ, এবং বহুভাষায় প্রশিক্ষণের পূর্ববর্তী মডে আমরা আরো দেখাচ্ছি যে মডেলের শব্দভাণ্ডারের ডায়াম্যানিক আপেটপেটশনের ফলে এলআরএলের কাছে সরাসরি আপডেটেশনের তুলনায় আরো ভালো বিভিন্ন অং প্রশিক্ষণের সময়ে পুনরায় দায়িত্ব প্রদর্শন করা হয় এবং LRL বেসারেইনে গুরুত্বপূর্ণ প্রদর্শন করা হয়, এমনকি এমনকি শূন্য LRL ডাটা (+13. 0 বেলিউ), পূর্ব প্রশিক্ষিত বহুভাষী মডেলের ডায়াম্যা আমাদের পদ্ধতি বর্তমান প্রতিক্রিয়ার চার এলআরএল-এ, যেমন ব্যাপক বহুভাষায় মডেল এবং তথ্য যোগাযোগ করা।

Abstract

སྐད་རིགས་ཀྱི་སྣ་མང་ཆེ་ཤོས་ཀྱི་Neural Machine Translation (MNMT)དང་རྐྱེན་འབྲེལ་བའི་སྐད་རིགས་ལ་མཐུན་ཡོད། Recently, MNMT adapting to a LRL has shown great performance. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adapta-tion. LRL ལ་སྒྲིག་ཚད་ལ་རྒྱས་གཏོང་དགོས་པ་དེ་འོང་གིས་སྐད་ཀྱི་བར་ཐག We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRL) ↔ en). འུ་ཚོས་ཀྱིས་མ་དབྱིབས་གྱི་བརྡ་སྤྲོད་ཀྱི་གྲོས་རིམ་གྱི་གྲོས་མཐུན་འགྱུར་བ་དེ་ཚོ་ནི་ཕན་ཚུན་ཡོད་པའི་སྒྲིག་སྟངས་ལ་ཕན་ཚུན Experiments show re-ductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. ང་ཚོའི་ལམ་ལུགས་འདིས་ད་ལྟོའི་ཐབས་ལམ་ལ་གཟུགས་འགོག་ཐབས་ལམ་ལུགས་མེད་པས། དཔེར་ན། སྣ་ཆེ་ཤོས་སྐད་ཀྱི་མིང་དཔེ་ལ་དང་

Abstract

Mnogjezički neurološki prevod uređaja (MNMT) za jezike niskih resursa (LRL) može se poboljšati prisustvom povezanih jezika visokih resursa (HRL), ali povezanost HRL obično oslanja na predodređene jezičke pretpostavke o sličnosti jezika. Nedavno je prilagođenje MNMT-a na LRL pokazalo da je veoma poboljšanje učinka. U ovom poslu istražujemo problem prilagođenja modela MNMT-a nevidljivom LRL koristeći selekciju podataka i adaptaciju modela. Da bismo poboljšali NMT za LRL, upotrebljavali smo neprijatnost da izaberemo HRL podatke koje su najsličnije LRL na temelju jezičke udaljenosti. Prošireno istražujemo selekciju podataka u popularnim multijezičkim postavkama NMT-a, a to je u (nul-shot) prevodu, i u adaptaciji iz multijezičkog predobučenog modela, za oba smjera (LRL en). Dalje pokazujemo da dinamična adaptacija rečnika model a rezultat rezultata boljih segmentacija za LRL u usporedbi s direktnom adaptacijom. Eksperimenti pokazuju revakcije u vrijeme obuke i značajne dobitke učinkovitosti iznad početnih linija LRL, čak i sa nulom podataka LRL (+13,0 BLEU), do +17,0 BLEU za predobučenu dinamičnu adaptaciju multijezičkog modela s povezanom selekcijom podataka. Naša metoda iznosi trenutne pristupe, poput masivnih multijezičkih modela i povećanja podataka, na četiri LRL.

Abstract

La traducció multilingüe de màquines neuronals (MNMT) per llengües de baix recursos (LRL) pot ser millorada per la presença de llengües relacionades d'alt recurso (HRL), però la relació de HRL normalment es basa en suposicions lingüístices predefinides sobre la similitud lingüística. Recently, adapting MNMT to a LRL has shown to greatly improve performance. En aquesta feina, explorem el problema d'adaptar un model MNMT a un LRL invisible fent servir la selecció de dades i l'adaptació del model. Per millorar la LRL, utilitzem la perplexitat per seleccionar les dades HRL més similars a la LRL en funció de la distància lingüística. Explorem ampliament la selecció de dades en configuracions populars multilingües del NMT, a saber, en traducció (zero-shot), i en adaptació d'un model multilingüe pré-entrenat, per ambdues direccions (LRL en). Ens demostram que l'adaptació dinàmica del vocabulari del model resulta en una segmentació més favorable per a la LRL en comparació amb l'adaptació directa. Els experiments mostran reduccions en el temps d'entrenament i guanys significatius de rendiment sobre les línies de base de LRL, fins i tot amb zero dades LRL (+13,0 BLEU), fins i tot +17,0 BLEU per adaptar dinàmicament al model multilingüe amb selecció de dades relacionada. El nostre mètode supera els enfocaments actuals, com els models multilingües i el augment de dades, en quatre LRL.

Abstract

Vícejazyčný neuronový strojový překlad (MNMT) pro jazyky s nízkými zdroji (LRL) může být zlepšen přítomností souvisejících jazyků s vysokými zdroji (HRL), ale souvislost HRL se obvykle opírá o předem definované lingvistické předpoklady o jazykové podobnosti. V poslední době se ukázalo, že adaptace MNMT na LRL výrazně zlepšuje výkon. V této práci zkoumáme problém adaptace MNMT modelu na neviditelnou LRL pomocí výběru dat a adaptace modelu. Abychom zlepšili NMT pro LRL, využíváme zmatenost k výběru HRL dat, která jsou LRL nejvíce podobná, na základě jazykové vzdálenosti. Důkladně zkoumáme výběr dat v oblíbených vícejazyčných NMT nastaveních, konkrétně v (nulovém) překladu, a v adaptaci z vícejazyčného předškoleného modelu, pro obě směry (LRL en). Dále ukazujeme, že dynamická adaptace slovníku modelu vede k příznivější segmentaci pro LRL ve srovnání s přímou adaptací. Experimenty ukazují zmenšení tréninkové doby a výrazné zvýšení výkonnosti nad základními liniemi LRL, a to i s nulovými LRL daty (+13.0 BLEU), až +17.0 BLEU pro předtrénovanou vícejazyčnou dynamickou adaptaci modelu s souvisejícím výběrem dat. Naše metoda překonává současné přístupy, jako jsou masivně vícejazyčné modely a rozšíření dat, na čtyřech LRL.

Abstract

Multilingual Neural Machine Translation (MNMT) for low-resource sprog (LRL) kan forbedres ved tilstedeværelsen af relaterede high-resource sprog (HRL), men forholdet mellem HRL afhænger normalt af foruddefinerede sproglige antagelser om sproglighed. For nylig har tilpasningen af MNMT til en LRL vist sig at forbedre ydeevnen betydeligt. I dette arbejde undersøger vi problemet med at tilpasse en MNMT-model til en usynlig LRL ved hjælp af datavalg og model tilpasning. For at forbedre NMT for LRL anvender vi forvirring til at vælge HRL data, der ligner mest LRL på grundlag af sprogafstand. Vi undersøger udførligt datavalg i populære flersprogede NMT-indstillinger, nemlig i (zero-shot) oversættelse, og i tilpasning fra en flersproget prætrænet model, for begge retninger (LRL en). Vi viser endvidere, at dynamisk tilpasning af modellens ordforråd resulterer i en mere gunstig segmentering for LRL sammenlignet med direkte tilpasning. Eksperimenter viser reduktioner i træningstiden og betydelige præstationsgevinster i forhold til LRL baselines, selv med nul LRL data (+13,0 BLEU), op til +17,0 BLEU for prætrænet flersproget model dynamisk tilpasning med relateret datavalg. Vores metode overgår nuværende tilgange, såsom massivt flersprogede modeller og data augmentation, på fire LRL.

Abstract

Multilingual Neural Machine Translation (MNMT) für Low-Resource Languages (LRL) kann durch das Vorhandensein verwandter High-Resource Languages (HRL) verbessert werden, aber die Verwandtschaft von HRL beruht in der Regel auf vordefinierten linguistischen Annahmen über Sprachähnlichkeit. In letzter Zeit hat sich gezeigt, dass die Anpassung von MNMT an eine LRL die Leistung erheblich verbessert. In dieser Arbeit untersuchen wir das Problem der Anpassung eines MNMT-Modells an eine unsichtbare LRL mittels Datenauswahl und Modellanpassung. Um NMT für LRL zu verbessern, verwenden wir Ratlosigkeit, um HRL-Daten auszuwählen, die den LRL am ähnlichsten sind, basierend auf der Sprachdistanz. Wir untersuchen ausführlich die Datenauswahl in gängigen mehrsprachigen NMT-Einstellungen, nämlich in (Zero-Shot) Übersetzung, und in Adaption aus einem mehrsprachigen vortrainierten Modell, für beide Richtungen (LRL en). Weiterhin zeigen wir, dass die dynamische Anpassung des Modellvokabulars zu einer günstigeren Segmentierung für die LRL im Vergleich zur direkten Anpassung führt. Experimente zeigten Reduktionen der Trainingszeit und signifikante Leistungszuwächse gegenüber LRL-Baselines, selbst bei null LRL-Daten (+13.0 BLEU), bis +17.0 BLEU für vortrainierte mehrsprachige Modelldynamik-Adaption mit zugehöriger Datenauswahl. Unsere Methode übertrifft aktuelle Ansätze, wie massiv mehrsprachige Modelle und Datenaugmentation, auf vier LRL.

Abstract

Η πολυγλωσσική νευρωνική μηχανική μετάφραση (MNMT) για γλώσσες χαμηλού πόρου (LRL) μπορεί να ενισχυθεί με την παρουσία σχετικών γλωσσών υψηλού πόρου (HRL), αλλά η συγγένεια της HRL συνήθως βασίζεται σε προκαθορισμένες γλωσσικές παραδοχές σχετικά με τη γλωσσική ομοιότητα. Πρόσφατα, η προσαρμογή σε ένα LRL έχει δείξει ότι βελτιώνει σημαντικά την απόδοση. Στην παρούσα εργασία, διερευνούμε το πρόβλημα της προσαρμογής ενός μοντέλου σε ένα αόρατο LRL χρησιμοποιώντας επιλογή δεδομένων και προσαρμογή μοντέλου. Προκειμένου να βελτιωθεί η NMT για το LRL, χρησιμοποιούμε σύγχυση για την επιλογή δεδομένων HRL που είναι πιο παρόμοια με το LRL βάσει της γλωσσικής απόστασης. Εξετάζουμε εκτενώς την επιλογή δεδομένων σε δημοφιλείς πολυγλωσσικές ρυθμίσεις, δηλαδή στη μετάφραση (μηδενική λήψη), και στην προσαρμογή από ένα πολύγλωσσο προ-εκπαιδευμένο μοντέλο, και για τις δύο κατευθύνσεις. Επιπλέον, καταδεικνύουμε ότι η δυναμική προσαρμογή του λεξιλογίου του μοντέλου οδηγεί σε μια ευνοϊκότερη κατάτμηση για το LRL σε σύγκριση με την άμεση προσαρμογή. Τα πειράματα δείχνουν μεταβολές στο χρόνο κατάρτισης και σημαντικά κέρδη απόδοσης σε σχέση με τις γραμμές βάσης ακόμη και με μηδενικά δεδομένα έως +17.0 για προ-εκπαιδευμένη πολύγλωσση δυναμική προσαρμογή μοντέλων με σχετική επιλογή δεδομένων. Η μέθοδος μας ξεπερνά τις τρέχουσες προσεγγίσεις, όπως μαζικά πολυγλωσσικά μοντέλα και αύξηση δεδομένων, σε τέσσερις LRL.

Abstract

La traducción automática neuronal multilingüe (MNMT) para idiomas de bajos recursos (LRL) se puede mejorar con la presencia de idiomas de recursos altos (HRL) relacionados, pero la relación de los HRL generalmente se basa en suposiciones lingüísticas predefinidas sobre la similitud lingüística. Recientemente, la adaptación de la MNMT a un LRL ha demostrado mejorar considerablemente el rendimiento. En este trabajo, exploramos el problema de adaptar un modelo MNMT a un LRL invisible mediante la selección de datos y la adaptación del modelo. Con el fin de mejorar la NMT para LRL, utilizamos la perplejidad para seleccionar los datos de HRL que sean más similares al LRL en función de la distancia entre idiomas. Exploramos ampliamente la selección de datos en entornos populares de NMT multilingües, es decir, en la traducción (zero-shot) y en la adaptación de un modelo multilingüe previamente entrenado, para ambas direcciones (LRL ↔ es). Además, mostramos que la adaptación dinámica del vocabulario del modelo resulta en una segmentación más favorable para el LRL en comparación con la adaptación directa. Los experimentos muestran reducciones en el tiempo de entrenamiento y ganancias de rendimiento significativas con respecto a las líneas de base de LRL, incluso con datos de LRL cero (+13.0 BLEU), hasta +17.0 BLEU para la adaptación dinámica de modelos multilingües previamente entrenados con la selección de datos relacionados. Nuestro método supera a los enfoques actuales, como los modelos multilingües masivos y el aumento de datos, en cuatro LRL.

Abstract

Vähese ressursiga keelte mitmekeelset neuraalset masintõlket (MNMT) saab parandada seotud suure ressursiga keelte olemasoluga, kuid HRL seos tugineb tavaliselt eelnevalt määratletud keelelistele oletustele keele sarnasuse kohta. Hiljuti on MNMT kohandamine LRL-iga näidanud olulist jõudlust. Selles töös uurime MNMT mudeli kohandamise probleemi nähtamatule LRL-le, kasutades andmete valikut ja mudeli kohandamist. Selleks, et parandada NMT-d LRL-i puhul, kasutame hämmeldust, et valida HRL-i andmed, mis on kõige sarnasemad LRL-iga keele kauguse põhjal. Uurime põhjalikult andmete valikut populaarsetes mitmekeelsetes NMT seadetes, nimelt (null-shot) tõlkes ja kohandamises mitmekeelse eelkoolitud mudeli alusel mõlemas suunas (LRL en). Lisaks näitame, et mudeli sõnavara dünaamiline kohandamine toob LRL jaoks kaasa soodsama segmenteerimise võrreldes otsese kohandamisega. Katsed näitavad koolitusaja taastumist ja märkimisväärset jõudluse kasvu võrreldes LRL baasjoontega, isegi kui LRL andmed on null (+13,0 BLEU), kuni +17,0 BLEU eelnevalt koolitatud mitmekeelse mudeli dünaamilise kohandamise puhul koos sellega seotud andmete valikuga. Meie meetod ületab praeguseid lähenemisviise, nagu massiliselt mitmekeelsed mudelid ja andmete suurendamine, neljas LRL-is.

Abstract

ترجمه ماشین عصبی چندین زبان (MNMT) برای زبان‌های کم منبع (LRL) می‌تواند با وجود زبان‌های منبع بالا (HRL) بیشتر شود، ولی ارتباط HRL معمولاً بر فرضیه‌های زبان‌شناسی پیش‌فرض در مورد شبیه زبان‌شناسی بستگی دارد. اخیراً اضافه کردن MNMT به یک LRL نشان داده است که عملکرد بسیار بهتر شده است. در این کار، ما مشکل تغییر دادن یک مدل MNMT را با استفاده از انتخاب داده‌ها و مدل تغییر داده‌ها تحقیق می‌کنیم. برای بهتر کردن NMT برای LRL، برای انتخاب داده های HRL که بیشتر شبیه LRL بر اساس فاصله زبان هستند استفاده می کنیم. ما به وسیله انتخاب داده‌ها در تنظیمات NMT زیادی زبان مشهور تحقیق می‌کنیم، یعنی در (صفر) ترجمه، و در تغییر از یک مدل پیش آموزش‌های زیادی زبان، برای هر دو راهی (LRL en). ما به بعد نشان می دهیم که تغییرات دینامیک کلمات مدل نتیجه‌های یک قسمت مناسب‌تر برای LRL در مقایسه با تغییرات مستقیم است. تجربه‌ها در زمان آموزش و ارائه عملکرد مهم بر خط‌های بنیادی LRL، حتی با داده‌های LRL صفر (+13.0 BLEU) تا +17.0 BLEU برای تغییر‌آموزش مدل چندین زبانی پیش آموزش داده شده با انتخاب داده‌های ارتباط، نشان می‌دهند. روش ما به عنوان مدل های زیادی زبان و افزایش داده ها در چهار LRL بیشتر از دسترسی های فعلی انجام می دهد.

Abstract

Vähävaraisten kielten monikielistä neurokonekäännöstä (MNMT) voidaan tehostaa olemalla siihen liittyviä korkean resurssin kieliä (HRL), mutta HRL:n yhteys perustuu yleensä ennalta määriteltyihin kielioletuksiin kielen samankaltaisuudesta. Viime aikoina MNMT:n mukauttaminen LRL:ään on osoittanut parantavan suorituskykyä huomattavasti. Tässä työssä tutkitaan ongelmaa MNMT-mallin mukauttamisesta näkymättömään LRL:ään datan valinnan ja mallin mukauttamisen avulla. Parantaaksemme NMT:tä LRL:ssä käytämme hämmennystä valitaksemme HRL:n tietoja, jotka ovat LRL:n kaltaisia kielietäisyyden perusteella. Tutkimme laajasti datan valintaa suosituissa monikielisissä NMT-asetuksissa, nimittäin (nolla-shot) käännöksissä ja monikielisestä esikoulutetusta mallista, molempiin suuntiin (LRL en). Osoitamme lisäksi, että mallin sanaston dynaaminen mukauttaminen johtaa LRL:lle suotuisampaan segmentoitumiseen verrattuna suoraan sopeuttamiseen. Kokeet osoittavat, että harjoitteluaika on vähentynyt ja suorituskyky on parantunut merkittävästi LRL-lähtötasoon verrattuna, vaikka LRL-tiedot olisivat nolla (+13,0 BLEU), jopa +17,0 BLEU-tason tason tason esikoulutetussa monikielisessä mallin dynaamisessa sopeuttamisessa ja siihen liittyvässä tietojen valinnassa. Menetelmämme ylittää nykyiset lähestymistavat, kuten massiivisen monikieliset mallit ja datan lisääminen, neljällä LRL:llä.

Abstract

La traduction automatique neuronale multilingue (MNMT) pour les langues à faibles ressources (LRL) peut être améliorée par la présence de langues à ressources élevées (HRL) associées, mais la parenté de la HRL repose généralement sur des hypothèses linguistiques prédéfinies concernant la similitude linguistique. Récemment, l'adaptation de MNMT à un LRL a permis d'améliorer considérablement les performances. Dans ce travail, nous explorons le problème de l'adaptation d'un modèle MNMT à une LRL invisible à l'aide de la sélection de données et de l'adaptation du modèle. Afin d'améliorer la NMT pour LRL, nous utilisons la perplexité pour sélectionner les données HRL les plus similaires à la LRL sur la base de la distance linguistique. Nous explorons de manière approfondie la sélection de données dans les paramètres NMT multilingues populaires, notamment dans la traduction (zero-shot), et dans l'adaptation à partir d'un modèle pré-entraîné multilingue, pour les deux directions (LRL ↔ en). Nous montrons également que l'adaptation dynamique du vocabulaire du modèle entraîne une segmentation plus favorable pour la LRL par rapport à l'adaptation directe. Les expériences montrent des réductions du temps d'entraînement et des gains de performance significatifs par rapport aux lignes de base LRL, même avec des données LRL nulles (+13,0 UEBL), jusqu'à +17,0 UEBL pour l'adaptation dynamique du modèle multilingue pré-entraîné avec sélection des données connexes. Notre méthode surpasse les approches actuelles, telles que les modèles massivement multilingues et l'augmentation des données, sur quatre LRL.

Abstract

Is féidir Aistriú Innealltáineach Ilteangach (MNMT) do theangacha íseal-acmhainne (LRL) a fheabhsú trí theangacha ard-acmhainne gaolmhara (HRL) a bheith ann, ach de ghnáth braitheann gaolmhaireacht HRL ar thoimhdí teangeolaíochta réamhshainithe faoi chosúlachtaí teanga. Le déanaí, léiríodh go bhfeabhsaítear feidhmíocht go mór trí MNMT a oiriúnú do LRL. Sa obair seo, déanaimid iniúchadh ar an bhfadhb a bhaineann le múnla MNMT a oiriúnú do LRL nach bhfacthas riamh roimhe agus úsáid á baint as roghnú sonraí agus oiriúnú samhla. D'fhonn NMT do LRL a fheabhsú, bainimid úsáid as anachain chun sonraí HRL a roghnú is cosúla leis an LRL ar bhonn achair teanga. Déanaimid iniúchadh forleathan ar roghnú sonraí i suíomhanna ilteangacha NMT a bhfuil móréilimh orthu, eadhon in aistriúchán (nialas), agus in oiriúint ó mhúnla ilteangach réamhoilte, don dá threo (LRL↔en). Léirímid freisin go mbíonn deighilt níos fabhraí don LRL i gcomparáid le hoiriúnú díreach mar thoradh ar oiriúnú dinimiciúil ar fhoclóir na samhla. Léiríonn turgnaimh laghduithe ar am oiliúna agus gnóthachain feidhmíochta suntasacha thar bhonnlínte LRL, fiú le nialas sonraí LRL (+13.0 BLEU), suas go +17.0 BLEU le haghaidh oiriúnú dinimiciúil réamh-oilte samhail ilteangach le roghnú sonraí gaolmhar. Is fearr lenár modh cur chuige reatha, ar nós samhlacha atá thar a bheith ilteangach agus méadú sonraí, ar cheithre LRL.

Abstract

@ item: inmenu A yanzu, mai adadin MNMT zuwa wani LRL ya nuna don ya kyautata aiki. Daga wannan aikin, Munã jarraba matsayin ya canza tsarin wata misali na MNMT zuwa wani LRL wanda ba'a sani ba, don ka yi amfani da zaɓani da shirin ayuka na adapta-tion. Dõmin ya ƙara NMT wa LRL, sai mu yi aiki mai walãkanci dõmin mu zãɓi data na HRL da mafi daidaita zuwa LRL kan hanya na zaman harshen. @ info: whatsthis ↔ dictionary variant Tuna ƙara nuna cewa adadin ayukan misalin ayuka ya ƙara wani mai kyau wa LRL sami da adadin durowa. Experiments na nuna re-dual'a cikin shirin lokaci da mai girma ya ci over LRL-sales, kõ da sifiri na LRL data (+13.0 BLEU), up to+17.0 BLEU wa shirin mai zaman yin shirin mulki-linguin mulki-language adamantic adaptation with selected data related. Our method outperforms current approaches, such as massively multilingual models and data augmentation, on four LRL.

Abstract

תורגם וסונכרן ע"י Qsubs מצוות לאחרונה, ההסתגלות של MNMT ל LRL הוכיחה שיפור גדול ביצועים. בעבודה הזו, אנו חוקרים את הבעיה של ההסתגלות מודל MNMT ל LRL בלתי נראה באמצעות בחירת נתונים ומודל ההסתגלות. על מנת לשפר את NMT עבור LRL, אנו משתמשים בלבוש לבחור נתונים HRL שהדומים ביותר ל LRL על בסיס מרחק השפה. אנו חוקרים באופן רחב את בחירת נתונים במסדרות NMT רבות שפוליות, במיוחד בתרגום (אפס-צילום), ובהתאמה ממודל מוכשר מראש רבות שפולית, לשני הכיוונים (LRL ↔ en). אנחנו גם מראים שהשימוש דינמי של ספר המילים של המודל מוביל בחלקה טובה יותר עבור LRL בהשוואה עם שימוש ישיר. ניסויים מראים שינויים בזמן האימון והשיכורים ביצועים משמעותיים מעל קווי הבסיס LRL, אפילו עם אפס נתונים LRL (+13.0 BLEU), עד +17.0 BLEU עבור התאמה דינמית מודל רב-שפתי מאומנת מראש עם בחירת נתונים קשורה. השיטה שלנו מעליפה גישות הנוכחיות, כמו דוגמנים רבות שפות ועודפות מידע, על ארבעה LRL.

Abstract

कम संसाधन भाषाओं (एलआरएल) के लिए बहुभाषी न्यूरल मशीन ट्रांसलेशन (एमएनएमटी) को संबंधित उच्च-संसाधन भाषाओं (एचआरएल) की उपस्थिति से बढ़ाया जा सकता है, लेकिन एचआरएल की संबंधितता आमतौर पर भाषा समानता के बारे में पूर्वनिर्धारित भाषाई मान्यताओं पर निर्भर करती है। हाल ही में, MNMT को LRL में अनुकूलित करने से प्रदर्शन में बहुत सुधार हुआ है। इस काम में, हम डेटा चयन और मॉडल अनुकूलन का उपयोग करके एक अनदेखी एलआरएल के लिए एक MNMT मॉडल को अनुकूलित करने की समस्या का पता लगाते हैं। एलआरएल के लिए एनएमटी में सुधार करने के लिए, हम एचआरएल डेटा का चयन करने के लिए उलझन को नियोजित करते हैं जो भाषा दूरी के आधार पर एलआरएल के समान हैं। हम बड़े पैमाने पर लोकप्रिय बहुभाषी एनएमटी सेटिंग्स में डेटा चयन का पता लगाते हैं, अर्थात् (शून्य-शॉट) अनुवाद में, और दोनों दिशाओं (एलआरएलएन↔) के लिए एक बहुभाषी पूर्व-प्रशिक्षित मॉडल से अनुकूलन में। हम आगे दिखाते हैं कि मॉडल की शब्दावली के गतिशील अनुकूलन के परिणामस्वरूप प्रत्यक्ष अनुकूलन की तुलना में एलआरएल के लिए अधिक अनुकूल विभाजन होता है। प्रयोगों से पता चलता है कि प्रशिक्षण समय में पुन: डक्टियन और एलआरएल बेसलाइन पर महत्वपूर्ण प्रदर्शन लाभ, यहां तक कि शून्य एलआरएल डेटा (+ 13.0 BLEU) के साथ भी, संबंधित डेटा चयन के साथ पूर्व-प्रशिक्षित बहुभाषी मॉडल गतिशील अनुकूलन के लिए +17.0 BLEU तक। हमारी विधि वर्तमान दृष्टिकोणों को मात देती है, जैसे कि बड़े पैमाने पर बहुभाषी मॉडल और डेटा वृद्धि, चार एलआरएल पर।

Abstract

Mnogjezički Neuralni prevod uređaja (MNMT) za jezike niskih resursa (LRL) može se poboljšati prisustvom povezanih jezika visokih resursa (HRL), ali povezanost HRL obično oslanja na predodređene jezičke pretpostavke o sličnosti jezika. Nedavno je prilagođenje MNMT-a na LRL pokazalo da je veoma poboljšanje učinka. U ovom poslu istražujemo problem prilagođenja modela MNMT-a nevidljivom LRL koristeći izbor podataka i model prilagođenja. Da bismo poboljšali NMT za LRL, upotrebljavali smo neprijatnost da izaberemo HRL podatke koje su najsličnije LRL na temelju jezičke udaljenosti. Prošireno istražujemo izbor podataka u popularnim multijezičkim postavljanjima NMT-a, a to je u (nul-shot) prevodu i prilagodbi iz multijezičkog predobučenog modela, za oba smjera (LRL en). Dalje pokazujemo da dinamična adaptacija rečnika model a rezultira u boljivom segmentaciji za LRL u usporedbi s direktnom adaptacijom. Eksperimenti pokazuju ponovne akcije u vrijeme obuke i značajne dobitke učinkovitosti iznad početnih linija LRL-a, čak i sa nulom podacima LRL-a (+13,0 BLEU), do +17,0 BLEU za predobučenu dinamičku adaptaciju multijezičkog modela s povezanim selekcijom podataka. Naša metoda iznosi trenutne pristupe, poput masivnih multijezičkih modela i povećanja podataka, na četiri LRL.

Abstract

Az alacsony erőforrású nyelvekre vonatkozó többnyelvű idegi fordítás (MNMT) javítható a kapcsolódó nagy erőforrású nyelvek (HRL) jelenléte, de a HRL kapcsolódása általában a nyelvhasonlóságra vonatkozó előre meghatározott nyelvi feltételezéseken alapul. A közelmúltban az MNMT LRL-hez való hozzáigazítása jelentősen javította a teljesítményt. Ebben a munkában azt a problémát vizsgáljuk, hogy egy MNMT modell egy láthatatlan LRL-hez igazítható adatválasztás és modelladaptáció segítségével milyen módon alakítható ki. Az NMT javítása érdekében a nyelvi távolság alapján zavarban választjuk ki az LRL-hez leginkább hasonló HRL-adatokat. Széles körben vizsgáljuk az adatok kiválasztását népszerű, többnyelvű NMT beállításokban, nevezetesen (zero-shot) fordításban, valamint egy többnyelvű előképzett modellből történő adaptációban mindkét irányban (LRL en). Megmutatjuk továbbá, hogy a modell szókincsének dinamikus adaptációja kedvezőbb szegmentációt eredményez az LRL számára a közvetlen adaptációhoz képest. A kísérletek szerint az oktatási idő visszaesése és az LRL alapvető teljesítménynövekedés jelentős mértékű, még a nulla LRL adat (+13,0 BLEU) esetén is akár +17,0 BLEU értékű, előre képzett, többnyelvű modelldinamikai adaptáció esetén, az ehhez kapcsolódó adatok kiválasztásával. Módszerünk négy LRL-en felülmúlja a jelenlegi megközelítéseket, például a többnyelvű modelleket és az adatbővítést.

Abstract

Նյարդային մեքենայի բազմալեզու թարգմանություն (MNMT) ցածր ռեսուրսների լեզուների համար կարող է բարելավվել կապված բարձր ռեսուրսների լեզուների (HRL) գոյության միջոցով, բայց HRL-ի կապը սովորաբար հիմնված է նախասահմանված լեզվաբանական ենթադրությունների լեզվի նմանության մասին: Վերջերս MNMT-ի հարմարվելը LRL-ին ցույց է տալիս, որ շատ բարելավում է արդյունքները: Այս աշխատանքի ընթացքում մենք ուսումնասիրում ենք MNMT մոդելի ադապտացիայի խնդիրը անտեսանելի LRL-ի հետ օգտագործելով տվյալների ընտրությունը և մոդելի ադապտացիան: LRL-ի NMT-ը բարելավելու համար մենք օգտագործում ենք խառնաշփոթ HRL-ի տվյալներ ընտրելու համար, որոնք ամենաշատ նման են LRL-ին լեզվի հեռավորության հիմքում: Մենք էքսպենսիվ ուսումնասիրում ենք տվյալների ընտրությունը բազմալեզու NMT-ի համակարգերում, հատկապես (զրո-նկարների) թարգմանման և բազմալեզու նախապատրաստված մոդելի ադապտացիայի մեջ, երկու ուղղությունների համար (LRL en). Մենք նաև ցույց ենք տալիս, որ մոդելի բառագրի դինամիկ ադապտացիան հանգեցնում է LRL-ի առավելագույն սեգմետրացիային, համեմատած անմիջական ադապտացիային: Փորձարկումները ցույց են տալիս կրճատումներ ուսուցման ժամանակի մեջ և նշանակալի զարգացումներ LRL հիմնական գծերի վրա, նույնիսկ զրոյից LRL տվյալներ (+13.0 Blaus), մինչև +17.0 Blaus նախապատրաստված բազլեզու մոդելի դինամիկ ադապտացիայի համար կապված տվյալների ընտրության հետ Մեր մեթոդը գերազանցում է ներկայիս մոտեցումները, ինչպիսիք են զանգվածային բազլեզու մոդելները և տվյալների աճը, չորս LRL-ի վրա:

Abstract

Multilingual Neural Machine Translation (MNMT) untuk bahasa sumber daya rendah (LRL) dapat diperbaiki oleh kehadiran bahasa sumber daya tinggi yang berhubungan (HRL), tetapi hubungan HRL biasanya bergantung pada asumsi bahasa terdefinisi tentang persamaan bahasa. Baru-baru ini, mengadaptasi MNMT ke LRL telah menunjukkan untuk meningkatkan prestasi. Dalam pekerjaan ini, kami mengeksplorasi masalah adaptasi model MNMT ke LRL yang tidak terlihat menggunakan pemilihan data dan adaptasi model. Untuk meningkatkan NMT untuk LRL, kami menggunakan kekacauan untuk memilih data HRL yang paling mirip dengan LRL pada dasar jarak bahasa. Kami secara ekstensif mengeksplorasi seleksi data dalam pengaturan NMT multibahasa populer, yaitu dalam terjemahan (zero-shot), dan dalam adaptasi dari model pre-terlatih multibahasa, untuk kedua arah (LRL en). Kami lebih lanjut menunjukkan bahwa adaptasi dinamik dari vokabular model menghasilkan segmentasi yang lebih baik untuk LRL dibandingkan dengan adaptasi langsung. Eksperimen menunjukkan reduksi dalam waktu latihan dan peningkatan prestasi yang signifikan di atas garis dasar LRL, bahkan dengan nol data LRL (+13.0 BLEU), hingga +17.0 BLEU untuk adaptasi dinamik model multibahasa terlatih dengan seleksi data berkaitan. Metode kita melebihi pendekatan saat ini, seperti model multibahasa besar dan peningkatan data, pada empat LRL.

Abstract

La traduzione automatica neurale multilingue (MNMT) per le lingue a basso contenuto di risorse (LRL) può essere migliorata dalla presenza di lingue ad alto contenuto di risorse correlate (HRL), ma la relazione di HRL di solito si basa su ipotesi linguistiche predefinite sulla somiglianza linguistica. Recentemente, adattare MNMT a una LRL ha dimostrato di migliorare notevolmente le prestazioni. In questo lavoro, esploriamo il problema dell'adattamento di un modello MNMT a un LRL invisibile utilizzando la selezione dei dati e l'adattamento del modello. Al fine di migliorare l'NMT per LRL, utilizziamo perplessità per selezionare i dati HRL più simili alla LRL in base alla distanza linguistica. Esploriamo ampiamente la selezione dei dati nelle impostazioni NMT multilingue popolari, vale a dire nella traduzione (zero-shot) e nell'adattamento da un modello multilingue pre-addestrato, per entrambe le direzioni (LRL en). Mostriamo inoltre che l'adattamento dinamico del vocabolario del modello porta ad una segmentazione più favorevole per l'LRL rispetto all'adattamento diretto. Gli esperimenti mostrano riduzioni del tempo di allenamento e significativi guadagni di performance rispetto alle linee di base LRL, anche con zero dati LRL (+13,0 BLEU), fino a +17,0 BLEU per l'adattamento dinamico del modello multilingue pre-addestrato con relativa selezione dei dati. Il nostro metodo supera gli approcci attuali, come modelli massicciamente multilingue e l'aumento dei dati, su quattro LRL.

Abstract

低資源言語（ LRL ）の多言語ニューラル・マシン・トランスレーション（ MNMT ）は、関連する高資源言語（ HRL ）の存在によって強化することができるが、HRLの関連性は通常、言語の類似性に関する事前定義された言語学的仮定に依存する。最近では、MNMTをLRLに適合させることで、パフォーマンスを大幅に向上させることが示されています。この研究では、データ選択とモデルアダプタを使用して、MNMTモデルを見えないLRLに適応させる問題を探求する。 LRLのNMTを改善するために、言語距離に基づいてLRLに最も類似したHRLデータを選択するために困惑を利用します。私たちは、（ゼロショット）翻訳、および両方向の多言語事前トレーニングモデルからの適応（ LRL↔ en ）という、人気のある多言語NMT設定でのデータ選択を幅広く探求しています。さらに、モデルの語彙の動的適応は、直接適応と比較して、LRLにとってより好ましいセグメンテーションをもたらすことを示している。実験では、LRLデータがゼロ（+13.0 BLEU ）であっても、事前にトレーニングされた多言語モデルの動的適応と関連データの選択のために、LRLベースラインよりもトレーニング時間が短縮され、パフォーマンスが大幅に向上することが示されています。当社の方法は、大規模な多言語モデルやデータ拡張などの現在のアプローチを4つのLRLで上回っています。

Abstract

Multilengkang Neral Mas Terjamahan (MNMT) kanggo langgambar apat-pakan (LRL), iso disenyongno karo alêran langkung banjur-akeh liyane plug-in-action Nang barêng-barêng iki, kita gewusegno perkoro kanggo nambah gambar MNMT model nang LRL kuwi nggawe diumbane dadi lan model model model modèl Digawe kanggo nglanggar NMT kanggo LRL, kita nguasai perpliksi kanggo limian HRL dadi sing dibutuhke sing luwih dumadhi kanggo LRL dumadhi kapan langgar. Awak dhéwé luwih akeh nggawe dadi kanggo Kelangan hukum kanggo populer NMT tentang kanggo ngilangno: 0-ot ↔ en). Monday Getama Nalika dhéwé éngawe barang nggawe dolanan liyane, kaya ngono akeh multilenguang model lan ampungasi data, ning upat LRL.

Abstract

მრავალენგიური ნეიროლური მაქსინის განსაგულაცია (MNMT) ცოტა რესურსის ენებისთვის (LRL) შეიძლება უფრო მეტივად შეიძლება გამოყენებული მეტი რესურსის ენებისთვის (HRL) გამოყენება, მაგრამ HRL-ის დაკავშირება სამუშ მხოლოდ, MNMT-ს LRL-ზე აეპორტირება მნიშვნელოვანია. ამ სამუშაოში, ჩვენ შევხედავთ პრობლემა, რომელიც MNMT მოდელის აეპორტირება, რომელიც არაჩვენებული LRL-ზე გამოყენებული მონაცემები და მოდელის აეპორტირება LRL-ის NMT-ის გასაკეთებლად, ჩვენ დავყენებთ HRL მონაცემებისთვის, რომლებიც ყველაზე მსგავსი LRL-ის განტოლება ენის განტოლებისთვის. ჩვენ ძალიან გავაკეთებთ მონაცემების არჩევა პოლუპური მულტილური NMT პარამეტრებში, ანუ (ნულ-სტარტი) გადაწყვეტში და მულტილური წინატარებული მოდელზე, ორივე მხარეს (LRL en). ჩვენ დავაჩვენებთ, რომ მოდელის სიტყვებულების დინამიკური ადაპტიფიკაცია უფრო მნიშვნელოვანი სეგმენტაციაში, რომელიც LRL-ს განმავლობაში პირადი ადაპტიკაციაზე Experiments show re-ductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. ჩვენი მეთოდი გავაკეთებს მიმდინარე წარმოდგენების გარეშე, როგორც ძალიან მრავალენგური მოდელები და მონაცემების აზექტირება, 4 LRL-ზე.

Abstract

Көптеген тілдер үшін көптеген невралдық машинаның аудармасы (MNMT) төмен ресурстар тілдерінің (LRL) тілдері (HRL) қатынасы артық ресурстар тілдері (HRL) арқылы көтеруге болады, бірақ HRL қатынасы кәдімгі түрде тілдердің ұқсас тү Жуырда MNMT- ті LRL- ге адаптациялау үлкен жұмыс істеуі көрсетілді. Бұл жұмыс ішінде, МNMT үлгісін анықталмаған LRL үлгісіне қолданып, деректерді таңдау мен үлгісін адаптациялау мәселесін зерттейміз. LRL үшін NMT жақсарту үшін, тіл аралығына негіздеген HRL деректерін таңдау үшін, біз тіл аралығына ұқсас болатын HRL деректерін таңдаймыз. Біз көп тілді NMT параметрлерінде деректерді таңдау үшін көптеген зерттеп, мысалы (zero- shot) аудармасында және көптеген алдын- ала оқылған моделінен (LRL en) адаптациялау үшін. Біз үлгісінің сөздерінің динамикалық адаптациясын көрсету үшін LRL үшін динамикалық адаптациясы тікелей адаптациясымен салыстыру үшін жақсы бөлімдеу нәтижесін көрсету Тәжірибелер LRL негізгі жолдарына қайта бақылау уақытында және мәліметті жылдамдықтарды көрсетеді, сондай-ақ LRL деректері (+13, 0 BLEU) нөл (+17, 0 BLEU) дегенге қайта бақылау үшін бірнеше тілдік модель динамикалы Біздің әдіміміз көптілік үлгілер мен деректерді көбейту үлгілерін төрт LRL үшін көпшілікті жасайды.

Abstract

저자원언어(LRL)의 다국어 신경기계번역(MNMT)은 관련 고자원언어(HRL)의 존재를 통해 강화할 수 있지만, HRL의 관련성은 일반적으로 미리 정의된 언어 유사성 가설에 의존한다.최근 MNMT를 LRL에 적용한 것은 성능을 크게 향상시킬 수 있다는 것을 증명했다.이 작업에서 우리는 데이터 선택과 모델 조정을 통해 MNMT 모델을 보이지 않는 LRL로 조정하는 방법을 모색했다.LRL의 NMT를 높이기 위해 우리는 곤혹도를 이용하여 언어 거리에 따라 LRL과 가장 비슷한 HRL 데이터를 선택한다.우리는 유행하는 다중 언어 NMT 설정에서의 데이터 선택, 즉 (제로 렌즈) 번역, 그리고 다중 언어 예비 훈련 모델에서 개편된 양방향 데이터 선택(LRL-en)을 광범위하게 연구했다.우리는 직접적 적응에 비해 모델 어휘의 동태적 적응이 LRL에 더욱 유리한 구분을 가져왔다는 것을 한층 더 밝혔다.실험에 따르면 LRL 기선에 비해 훈련 시간이 단축되고 성능이 현저히 향상된 것으로 나타났다. LRL 데이터가 0(+13.0 BLEU)이라도 미리 훈련된 다국어 모델의 동적 적응과 관련 데이터 선택에 대해 BLEU는 +17.0 BLEU에 달한다.네 가지 LRL에서 우리의 방법은 현재의 방법보다 우수하다. 예를 들어 대규모 다국어 모델과 데이터 확장이다.

Abstract

Daugiakalbis neurologinis mašinų vertimas (MNMT) mažai išteklių turinčioms kalboms gali būti sustiprintas esant susijusioms didelio išteklio kalboms (HRL), tačiau HRL ryšys paprastai grindžiamas iš anksto apibrėžtomis kalbinėmis prielaidomis apie kalbų panašumą. Recently, adapting MNMT to a LRL has shown to greatly improve performance. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adapta- tion. Siekiant pagerinti LRL NMT, mes naudojame perpleksiją pasirinkdami HRL duomenis, kurie labiausiai panašūs į LRL pagal kalbinį atstumą. We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRL en). Be to, rodome, kad dinamiškas modelio žodyno pritaikymas lemia palankesnę LRL segmentaciją, palyginti su tiesioginiu pritaikymu. Eksperimentai rodo, kad mokymo trukmė mažėja ir kad LRL bazinėse linijose rezultatai gerokai padidėja, net jei nėra duomenų apie LRL (+13,0 BLEU), o daugiakalbio modelio dinaminio pritaikymo su susijusiais duomenimis atveju – iki +17,0 BLEU. Mūsų metodas yra didesnis nei dabartiniai metodai, pavyzdžiui, masiniai daugiakalbiai modeliai ir duomenų didinimas keturiose LRL srityse.

Abstract

Мултијазичен неврален машински превод (MNMT) за јазици со ниски ресурси (LRL) може да се зголеми со присуството на поврзани јазици со високи ресурси (HRL), но поврзаноста на HRL обично се зависи од предефинирани јазички претпоставувања за јазичката сличност. Неодамна, адаптирањето на МНМТ на ЛРЛ покажа значително подобрување на резултатите. Во оваа работа, го истражуваме проблемот со адаптација на MNMT модел на невидлив LRL користејќи го изборот на податоци и адаптација на моделот. Со цел да го подобриме НМТ за ЛРЛ, употребуваме збунетост за да избереме податоци за ХРЛ кои се најслични на ЛРЛ на основа на јазичката дистанца. Ние екстремно истражуваме селекција на податоци во популарните мултијазични НМТ поставувања, имено во превод (нула снимка) и во адаптација од мултијазичен предобучен модел, за двете насоки (LRL en). Понатаму покажуваме дека динамичната адаптација на речникот на моделот резултира со поповолна сегментација за ЛРЛ во споредба со директната адаптација. Експериментите покажуваат редукции во времето на обука и значителни зголемувања на резултатите во врска со основните линии на ЛРЛ, дури и со нула податоци за ЛРЛ (+13,0 БЛЕ), до +17,0 БЛЕ за преобучено мултијазички модел динамично адаптација со поврзана избор на под Нашиот метод ги надминува актуелните пристапи, како што се масовните мултијазички модели и зголемување на податоците, на четири ЛРЛ.

Abstract

കുറഞ്ഞ വിഭവങ്ങളുടെ (LRL) ഭാഷകള്‍ക്കായി പല ഭാഷ നെയുറല്‍ മാഷീന്‍ പരിഭാഷ (MNMT) കൂടുതല്‍ മെച്ചപ്പെടുത്താന്‍ സാധിക്കുന്നതാണു് (HRL), പക്ഷെ HRL-ന്റെ ബന്ധങ്ങള്‍ സാധാരണയായി മുന അടുത്തിടെ എംഎംഎംഎലിലേക്ക് മാറ്റുന്നത് വളരെ മെച്ചപ്പെടുത്താന്‍ കാണിച്ചിരിക്കുന്നു. ഈ ജോലിയില്‍, നമ്മള്‍ ഒരു MNMT മോഡലിനെ ഒളിഞ്ഞ LRL-ലേക്ക് മാറ്റുന്നതിന്‍റെ പ്രശ്നം പരിശോധിക്കുന്നു. ഡേറ്റാ തെരഞ്ഞെട LRL-ന് NMT മെച്ചപ്പെടുത്താന്‍ വേണ്ടി, LRL-നെപ്പോലെയാണ് ഏറ്റവും പോലെയുള്ള HRL വിവരങ്ങള്‍ തെരഞ്ഞെടുക്കാന്‍ ഞങ്ങള്‍ പരിശോധത് പ്രധാനപ്പെട്ട പല ഭാഷയിലുള്ള NMT സജ്ജീകരണങ്ങളില്‍ വിശാലമായ ഡേറ്റാ തെരഞ്ഞെടുക്കുന്നത് നമ്മള്‍ പരിശോധിക്കുന്നു. അതായത് പൂര്‍ണ്ണമായ (zero- shot) പരിഭാഷകളി നമ്മള്‍ കൂടുതല്‍ കാണിക്കുന്നുണ്ടെങ്കില്‍ മോഡലിന്റെ വാക്കുപയോഗിക്കുന്നത് നേരിട്ട് നിര്‍ത്തുന്നതിനെക്കുറിച്ച് LRL-ന് പരീക്ഷണങ്ങള്‍ പരിശീലനത്തിന്റെ സമയത്തില്‍ പുനര്‍ജ്ജീകരണങ്ങള്‍ കാണിക്കുന്നു. LRL ബെസ്ലൈനുകള്‍ക്ക് പ്രധാനപ്പെട്ട പ്രകടനം ലഭ്യമാകുന്നു. LRL ഡേറ്റാ പൂജ്യം (+13. 0 ബെല്യൂ) ക നമ്മുടെ രീതിയില്‍ ഇപ്പോഴത്തെ വഴികള്‍ പ്രവര്‍ത്തിപ്പിക്കുന്നത് നാല് എല്‍ആര്‍എലില്‍ നിന്നും വളരെ അധികം പല ഭാഷ മോഡലുകളും ഡ

Abstract

Олон хэлний мэдрэлийн машины хөгжүүлэлт (MNMT) бага боловсруулагч хэл (LRL) болон хамааралтай өндөр боловсруулагч хэл (HRL) байдаг гэхдээ HRL-ын хамаарал ихэвчлэн хэлний төстэй талаар илүү тодорхойлдог хэлний төлөвлөгөөс хамаарна. Саяхан MNMT-г LRL-д зохицуулах нь үйл ажиллагааг маш сайжруулж байна. Энэ ажил дээр бид MNMT загварыг мэдээллийн сонголт болон загварын адаптацийг ашиглан харагдаагүй LRL-д загварчлах асуудлыг судалж байна. LRL-ийн NMT-г сайжруулахын тулд бид хэлний зай дээр хамгийн ижил LRL-тэй төстэй HRL-г сонгох боломжтой байдлыг ашигладаг. Бид олон хэлний NMT хэлбэрээр өгөгдлийн сонголтыг олон судалгаа судалж, тэр хэлний аль хэлний сургалтын загвараас хоёр талаар (LRL en) хөрөнгө оруулалт хийсэн. Бид дараа нь загварын үгийн динамик загварын өөрчлөлт нь LRL-ын шууд загвартай харьцуулахад илүү ашигтай загварын үр дүнг харуулж байна. Түүний туршилт LRL сургалтын цаг хугацаанд дахин дахин давтагдсан болон хамааралтай өгөгдлийн сонголттай олон хэлний загварын динамик загварын давхарлалтын тулд +17.0 BLEU хүртэл ашиглаж байна. Бидний арга нь одоогийн ойлголтыг олон хэл загвар, өгөгдлийн нэмэгдүүлэлтийг дөрвөн ЛРЛ дээр гаргадаг.

Abstract

Terjemahan Mesin Neural Berbahasa (MNMT) untuk bahasa sumber rendah (LRL) boleh ditambah oleh kehadiran bahasa sumber tinggi yang berkaitan (HRL), tetapi hubungan HRL biasanya bergantung pada asumsi bahasa terdefinisi mengenai persamaan bahasa. Recently, adapting MNMT to a LRL has shown to greatly improve performance. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adapta- tion. Untuk meningkatkan NMT untuk LRL, kita menggunakan kekeliruan untuk memilih data HRL yang paling mirip dengan LRL berdasarkan jarak bahasa. Kami mengeksplorasi secara luas pemilihan data dalam tetapan NMT berbilang bahasa populer, iaitu dalam terjemahan (0-shot), dan dalam penyesuaian dari model pra-dilatih berbilang bahasa, untuk kedua-dua arah (LRL en). We further show that dynamic adaptation of the model's vocabulary results in a more favourable segmentation for the LRL in comparison with direct adaptation. Experiments show re- ductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. Kaedah kita melebihi pendekatan semasa, seperti model berbilang bahasa besar dan peningkatan data, pada empat LRL.

Abstract

Multilingual Neural Machine Translation (MNMT) for low- resource languages (LRL) can be enhanced by the presence of related high-resource languages (HRL), but the relatedness of HRL usually relies on predefined linguistic assumptions about language similarity. Recently, adapting MNMT to a LRL has shown to greatly improve performance. F’din il-ħidma, nistudjaw il-problema ta’ l-adattament ta’ mudell MNMT għal LRL mhux osservat bl-użu ta’ l-għażla tad-dejta u l-adattament tal-mudell. In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. Aħna nesploraw b’mod estensiv l-għa żla tad-dejta f’ambjenti popolari multilingwi tal-NMT, jiġifieri fit-traduzzjoni (zero-shot), u f’adattament minn mudell multilingwi mħarreġ minn qabel, għaż-żewġ direzzjonijiet (LRL en). Aħna nuru wkoll li l-adattament dinamiku tal-vokabulari tal-mudell jirriżulta f’segmentazzjoni aktar favorevoli għall-LRL meta mqabbel mal-adattament dirett. L-esperimenti juru tnaqqis fil-ħin tat-taħriġ u kisbiet sinifikanti fil-prestazzjoni fuq il-linji bażi tal-LRL, anki b’dejta żero tal-LRL (+13.0 BLEU), sa +17.0 BLEU għal adattament dinamiku tal-mudell multilingwi mħarreġ minn qabel b’għażla relatata tad-dejta. Il-metodu tagħna jaqbeż l-approċċi attwali, bħal mudelli multilingwi massivi u żieda fid-dejta, fuq erba’ LRL.

Abstract

Multilingual Neural Machine Translation (MNMT) voor low-resource talen (LRL) kan worden verbeterd door de aanwezigheid van verwante high-resource talen (HRL), maar de verwantschap van HRL berust meestal op vooraf gedefinieerde linguïstische veronderstellingen over taalgelijkenis. Onlangs heeft het aanpassen van MNMT aan een LRL aangetoond de prestaties aanzienlijk te verbeteren. In dit werk onderzoeken we het probleem van het aanpassen van een MNMT model aan een onzichtbare LRL met behulp van data selectie en model aanpassing. Om NMT voor LRL te verbeteren, gebruiken we verwarring om HRL-gegevens te selecteren die het meest lijken op de LRL op basis van taalafstand. We onderzoeken uitvoerig data selectie in populaire meertalige NMT settings, namelijk in (zero-shot) vertaling, en in aanpassing van een meertalig voorgetraind model, voor beide richtingen (LRL en). Verder tonen we aan dat dynamische aanpassing van de woordenschat van het model resulteert in een gunstigere segmentatie voor de LRL in vergelijking met directe aanpassing. Experimenten tonen veranderingen in trainingstijd en significante prestatiewinsten ten opzichte van LRL baselines, zelfs met nul LRL data (+13.0 BLEU), tot +17.0 BLEU voor voorgetrainde meertalige model dynamische aanpassing met gerelateerde gegevensselectie. Onze methode overtreft de huidige benaderingen, zoals massaal meertalige modellen en data augmentatie, op vier LRL's.

Abstract

Fleirspråk Neuralmaskinsomsetjing (MNMT) for låg ressursspråk (LRL) kan vera forbetra av tilhøyrande høg ressursspråk (HRL), men HRL-tilhøyrande tilhøyrande tilhøyrande tilhøyrande tilhøyrande tilhøyrande tilhøyrande tilhøyrande tilhøyrande språk er vanlegvis avhengig av føredefine Nyleg har MNMT tilpassa til ein LRL vist for å forbetra utviklinga. I dette arbeidet utforskar vi problemet med å tilpassa eit MNMT-modell til eit ukjent LRL med datautvalet og modell for tilpassing. For å forbetra NMT for LRL, bruker vi forskjellig for å velja HRL-data som er mest liknande til LRL på grunnlag av språkkavstanden. Vi utforskar utvalet av data i populære fleirspråk NMT-innstillingar, dvs. i (null-shot) omsetjinga, og i tilpassing frå ein fleirspråk før-trent modell for begge retningar (LRL en). Vi viser meir at dynamiske tilpassing av ordbokstaven i modellen resulterer i ein meir favoritt segmentasjon for LRL i sammenligning med direkte tilpassing. Eksperiment viser gjenopprettingar i treningstid og signifikante utviklingar over LRL-baselinjer, sjølv med null LRL-data (+13,0 BLEU), opp til +17,0 BLEU for dynamiske tilpassing av fleirspråk-modellen med relaterte datautval. Metoden vårt utfører gjeldande tilnærmingar, slik som massivt fleirspråk modeller og data augmentasjon, på fire LRL.

Abstract

Wielojęzyczne neuronowe tłumaczenie maszynowe (MNMT) dla języków niskich zasobów (LRL) może być zwiększone obecnością powiązanych języków o wysokich zasobach (HRL), ale związek HRL zazwyczaj opiera się na predefiniowanych założeniach językowych dotyczących podobieństwa językowego. Ostatnio dostosowanie MNMT do LRL wykazało znacznie poprawę wydajności. W niniejszej pracy badamy problem adaptacji modelu MNMT do niewidzialnego LRL za pomocą wyboru danych i adaptacji modelu. Aby poprawić NMT dla LRL, wykorzystujemy zdezorientowanie danych HRL, które są najbardziej podobne do LRL na podstawie odległości językowej. Szeroko badamy wybór danych w popularnych wielojęzycznych ustawieniach NMT, a mianowicie w tłumaczeniu (zero-shot) oraz w adaptacji z wielojęzycznego modelu wstępnie trenowanego, dla obu kierunków (LRL en). Ponadto pokazujemy, że dynamiczna adaptacja słownictwa modelu powoduje korzystniejszą segmentację dla LRL w porównaniu z adaptacją bezpośrednią. Eksperymenty wykazują zmiany czasu treningu i znaczące wzrosty wydajności w stosunku do linii bazowych LRL, nawet przy zerowych danych LRL (+13.0 BLEU), do +17.0 BLEU dla wstępnie przeszkolonych wielojęzycznych modeli dynamicznych z powiązanym wyborem danych. Nasza metoda przewyższa obecne podejścia, takie jak masowo wielojęzyczne modele i powiększanie danych, na czterech LRL.

Abstract

A tradução automática neural multilíngue (MNMT) para linguagens de baixo recurso (LRL) pode ser aprimorada pela presença de linguagens relacionadas de alto recurso (HRL), mas o relacionamento de HRL geralmente depende de suposições linguísticas predefinidas sobre semelhança de linguagem. Recentemente, adaptar o MNMT a um LRL mostrou melhorar muito o desempenho. Neste trabalho, exploramos o problema de adaptar um modelo MNMT a um LRL não visto usando seleção de dados e adaptação de modelo. A fim de melhorar o NMT para LRL, empregamos perplexidade para selecionar dados HRL que são mais semelhantes ao LRL com base na distância do idioma. Exploramos extensivamente a seleção de dados em configurações NMT multilíngues populares, ou seja, na tradução (zero-shot) e na adaptação de um modelo pré-treinado multilíngue, para ambas as direções (LRL↔en). Mostramos ainda que a adaptação dinâmica do vocabulário do modelo resulta em uma segmentação mais favorável para o LRL em comparação com a adaptação direta. Os experimentos mostram reduções no tempo de treinamento e ganhos significativos de desempenho sobre as linhas de base LRL, mesmo com dados LRL zero (+13,0 BLEU), até +17,0 BLEU para adaptação dinâmica de modelo multilíngue pré-treinado com seleção de dados relacionados. Nosso método supera as abordagens atuais, como modelos massivamente multilíngues e aumento de dados, em quatro LRL.

Abstract

Traducerea automată neurală multilingvă (MNMT) pentru limbi cu resurse reduse (LRL) poate fi îmbunătățită prin prezența limbilor conexe cu resurse mari (HRL), dar relația HRL se bazează de obicei pe ipoteze lingvistice predefinite cu privire la similitudinea limbilor. Recent, adaptarea MNMT la un LRL a demonstrat că îmbunătățește foarte mult performanța. În această lucrare, explorăm problema adaptării unui model MNMT la un LRL nevăzut folosind selectarea datelor și adaptarea modelului. Pentru a îmbunătăți NMT pentru LRL, folosim perplexitate pentru a selecta date HRL care sunt cele mai similare cu LRL pe baza distanței lingvistice. Explorăm extensiv selecția datelor în setările NMT multilingve populare, și anume în traducere (zero-shot), și în adaptare dintr-un model multilingv pre-instruit, pentru ambele direcții (LRL en). De asemenea, demonstrăm că adaptarea dinamică a vocabularului modelului duce la o segmentare mai favorabilă pentru LRL în comparație cu adaptarea directă. Experimentele arată reduceri ale timpului de antrenament și câștiguri semnificative de performanță față de liniile de bază LRL, chiar și cu zero date LRL (+13,0 BLEU), până la +17,0 BLEU pentru adaptarea dinamică a modelului multilingv pre-instruit cu selecția datelor aferente. Metoda noastră depășește abordările actuale, cum ar fi modelele multilingve masive și mărirea datelor, pe patru LRL.

Abstract

Многоязычный нейронный машинный перевод (MNMT) для языков с низким уровнем ресурсов (LRL) может быть усилен наличием родственных языков с высоким уровнем ресурсов (HRL), но взаимосвязь HRL обычно основывается на заранее определенных лингвистических предположениях о сходстве языков. В последнее время, адаптация MNMT к LRL показала значительное улучшение производительности. В этой работе мы исследуем проблему адаптации модели MNMT к невидимому LRL с использованием выбора данных и адаптации модели. Для улучшения NMT для LRL мы используем недоумение, чтобы отобрать данные HRL, которые наиболее похожи на LRL на основе языкового расстояния. Мы широко изучаем выбор данных в популярных многоязычных настройках НБ, а именно в (нулевом) переводе и в адаптации из многоязычной предварительно обученной модели, для обоих направлений (LRL↔en). Мы далее показываем, что динамическая адаптация словарного запаса модели приводит к более благоприятной сегментации для LRL по сравнению с прямой адаптацией. Эксперименты показывают изменения в времени обучения и значительное увеличение производительности по сравнению с исходными уровнями LRL, даже при нулевых данных LRL (+13,0 BLEU), до +17,0 BLEU для предварительно обученной многоязычной модели динамической адаптации с соответствующим выбором данных. Наш метод превосходит современные подходы, такие как массивные многоязычные модели и расширение данных, на четырех LRL.

Abstract

Multilanguage neural machine translation (MNMT) for low- source language (LRL) can be improvised by the presence of high-source language (HRL), but the erltedness of HRL is generous on pre-determined language assumption on language comparity. අලුත් වෙලාවට, MNMT එක LRL එකට ඇතුළත් කරන්න පෙන්වන්නේ ගොඩක් වැඩි වැඩ කරන්න. මේ වැඩේ අපි MNMT මෝඩල් එකක් අදහස් වෙන්න ප්‍රශ්නයක් පරීක්ෂා කරනවා දත්ත තෝරණය සහ මන්ඩල් අනුමාණය සඳහා අනුමාණ LRL වෙනුවෙන් NMT වැඩ කරන්න, අපි HRL දත්ත තෝරාගන්න සම්පූර්ණතාවක් භාෂාව අධාරිතයෙන් LRL වෙනුවෙන් වඩා වර්ගයි. අපි ලොකු භාෂාවික NMT සැකසුම් වලට දත්ත තෝරණය පරීක්ෂා කරනවා, අනිවාර්ය (0-shot) පරීක්ෂණය සහ ගොඩක් භාෂාවික ප්‍රීක්ෂණය කරලා තියෙ අපි තවත් පෙන්වන්නේ මොඩේල්ගේ භාෂාවාදයේ වාර්ථාවික සැකසුම් වලට LRL වෙනුවෙන් වැඩිය ප්‍රයෝජනයක් ප්‍රතිච පරීක්ෂණය පෙන්වන්න පුළුවන් වෙලාවේ ප්‍රීක්ෂණා වෙලාවේ ප්‍රශ්නයක් සහ වැදගත් ප්‍රශ්නයක් ප්‍රශ්නයක් තියෙනවා LRL ප්‍රශ්නයක් වලින්, සම්බන් අපේ විද්‍යාව ප්‍රසිද්ධ විදිහට ප්‍රසිද්ධ විදිහට ප්‍රසිද්ධ වෙන්න පුළුවන්, හරියට වැඩි භාෂාවික මොඩේ

Abstract

Večjezični nevralni strojni prevod (MNMT) za jezike z nizkimi viri (LRL) se lahko izboljša s prisotnostjo sorodnih jezikov z visokimi viri (HRL), vendar se povezanost HRL običajno opira na vnaprej določene jezikovne predpostavke o jezikovni podobnosti. V zadnjem času se je prilagoditev MNMT na LRL pokazala za močno izboljšanje zmogljivosti. V tem delu raziskujemo problem prilagajanja modela MNMT na nevidno LRL z uporabo izbire podatkov in prilagajanja modela. Da bi izboljšali NMT za LRL, uporabljamo zmedenost za izbiro podatkov HRL, ki so najbolj podobni LRL na podlagi jezikovne razdalje. Obsežno raziskujemo izbiro podatkov v priljubljenih večjezičnih NMT nastavitvah, in sicer v (ničelnem) prevajanju in prilagajanju iz večjezičnega vnaprej usposobljenega modela za obe smeri (LRL). ↔ sl). Dodatno dokazujemo, da dinamična prilagoditev besedišča modela prinaša ugodnejšo segmentacijo za LRL v primerjavi z neposredno prilagoditvijo. Eksperimenti kažejo ponovno zmanjšanje časa vadbe in znatno povečanje zmogljivosti v primerjavi z osnovnimi vrsticami LRL, tudi z nič podatkov LRL (+13,0 BLEU), do +17,0 BLEU za vnaprej usposobljeno večjezično dinamično prilagajanje modela s povezano izbiro podatkov. Naša metoda presega sedanje pristope, kot so množični večjezični modeli in povečanje podatkov, pri štirih LRL.

Abstract

Turjumidda luuqadaha hoose-resource (MNMT) ee luuqadaha koowaad (LRL) waxaa lagu kordhin karaa horumarinta luuqadaha aad u xidhiidha luqadaha rasmiga ah (HRL), laakiin xiriirka HRL inta badan wuxuu ku xiran karaa malayaasha afka hore oo ku saabsan isku mid ah. Mudankii ugu dhowaaday, in MNMT la beddelo LRL uu muujiyey in aad u hagaajiyo tababarka. Shaqadan, waxaynu baarinaynaa dhibaatada ku bedelashada model MNMT oo aan qarsoonayn LRL lagu isticmaalo doorasho macluumaad iyo model adapta. Si aan u hagaajino NMT ee LRL, waxaynu u shaqaynaynaa dhibaato si aan u doorno data HRL oo ugu eg LRL oo ku saleysan dhegta luqada. Waxaan si dheer u baaraynaa doorasho macluumaad ah oo ku qoran qorshaha qoraalka afka kala duduwan ee NMT, kuwaas oo ah turjumidda (zero-shot) iyo tilmaamaha qoraalka hore oo luuqadaha badan, labada hagitaan (LRL en). Sidoo kale waxaan tusnaynaa in beddelka hadalka midowga ah uu sababto qayb ka wanaagsan oo u eg LRL si toos u beddelan. Imtixaanka waxaa ka muuqda dib-u-qabsashada wakhtiga waxbarashada iyo waxyaabaha muhiimka ah oo ka kordhaya qorshaha LRL, xataa zero LRL data (+13.0 BLEU), ilaa +17.0 BLEU, si uu u beddelo model mulki-luuqad ah oo u horeeyo bedelka bedelka bedelka oo ku saabsan doorashada data. Midabkayaga ayaa soo saara qaabab hada ah, tusaale ahaan qaabab badan oo luuqado kala duduwan iyo kordhiska macluumaadka afarta LRL.

Abstract

MNMT për gjuhët me burime të ulta (LRL) mund të përmirësohet nga prania e gjuhëve me burime të larta (HRL), por lidhja e HRL zakonisht mbështetet në supozimet e paracaktuara gjuhësore rreth ngjashmërisë gjuhësore. Recently, adapting MNMT to a LRL has shown to greatly improve performance. Në këtë punë, ne eksplorojmë problemin e përshtatjes së një modeli MNMT në një LRL të padukshëm duke përdorur zgjedhjen e të dhënave dhe adaptimin e modelit. In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRL en). We further show that dynamic adaptation of the model's vocabulary results in a more favourable segmentation for the LRL in comparison with direct adaptation. Experiments show re- ductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. Metoda jonë ekziston më shumë se metodat aktuale, të tilla si modelet masive shumëgjuhësore dhe rritja e të dhënave, në katër LRL.

Abstract

Mnogjezički Neuralni prevod mašine (MNMT) za jezike niskih resursa (LRL) može biti poboljšan prisustvom povezanih jezika visokih resursa (HRL), ali povezanost HRL obično oslanja na predodređene jezičke pretpostavke o sličnosti jezika. Nedavno je prilagođenje MNMT-a na LRL pokazalo da je veoma poboljšavanje funkcije. U ovom poslu istražujemo problem prilagođenja modela MNMT-a nevidljivom LRL koristeći izbor podataka i model adaptacije. Da bismo poboljšali NMT za LRL, upotrebljavali smo perpleksitet da izaberemo HRL podatke koje su najsličnije LRL na osnovu jezičke udaljenosti. Prošireno istražujemo selekciju podataka u popularnim multijezičkim postavljanjima NMT-a, a to je u (nul-shot) prevodu, i u adaptaciji iz multijezičkog predobučenog modela, za oba smjera (LRL en). Dalje pokazujemo da dinamična adaptacija rečnika model a rezultuje u boljim segmentacijama za LRL u usporedbi sa direktnom adaptacijom. Eksperimenti pokazuju revakcije u vreme obuke i značajne dobitke učinkovitosti iznad početnih linija LRL, čak i sa nulom podacima LRL (+13,0 BLEU), do +17,0 BLEU za predobučenu dinamičnu adaptaciju multijezičkog modela s povezanim selekcijom podataka. Naša metoda iznosi trenutne pristupe, poput masivnih multijezičkih modela i povećanja podataka, na četiri LRL.

Abstract

Multilingual Neural Machine Translation (MNMT) för lågresursspråk (LRL) kan förbättras genom närvaron av relaterade högresursspråk (HRL), men förhållandet mellan HRL beror vanligtvis på fördefinierade språkliga antaganden om språklikhet. Nyligen har anpassningen av MNMT till en LRL visat sig avsevärt förbättra prestandan. I detta arbete undersöker vi problemet med att anpassa en MNMT-modell till en osynlig LRL med hjälp av dataval och modellanpassning. För att förbättra NMT för LRL använder vi förvirring för att välja HRL-data som liknar LRL mest på grundval av språkavstånd. Vi undersöker i stor utsträckning dataval i populära flerspråkiga NMT-inställningar, nämligen i (noll-shot) översättning, och i anpassning från en flerspråkig pre-utbildad modell, för båda riktningarna (LRL en). Vi visar vidare att dynamisk anpassning av modellens vokabulär resulterar i en mer gynnsam segmentering för LRL jämfört med direkt anpassning. Experiment visar på minskningar i träningstid och signifikanta prestationsvinster jämfört med LRL-baselines, även med noll LRL-data (+13,0 BLEU), upp till +17,0 BLEU för färdigutbildad flerspråkig modelldynamisk anpassning med tillhörande dataval. Vår metod överträffar nuvarande metoder, såsom massivt flerspråkiga modeller och dataökning, på fyra LRL.

Abstract

Tafsiri ya Mashine ya Kifaragha (MNMT) kwa lugha ndogo ya rasilimali (LRL) inaweza kuongezwa na uwepo wa lugha zinazohusiana na rasilimali za juu (HRL), lakini uhusiano wa HRL mara nyingi hutegemea dhana za lugha zilizotanguliwa kuhusu usawa wa lugha. Hivi karibuni, kubadilisha MNMT kwa LRL imeonyesha kuboresha utendaji. Katika kazi hii, tunagundua tatizo la kubadilisha muundo wa MNMT kwa LRL asiyejulikana kwa kutumia uchaguzi wa data na upatikanaji wa mifano. Ili kuboresha NMT kwa LRL, tunatumia utata wa kuchagua data za HRL ambazo zinafanana zaidi na LRL kwa kiwango cha lugha. Tunafanya uchaguzi wa data kwa kiasi kikubwa katika mazingira maarufu ya lugha za NMT, yaani katika tafsiri (picha sifuri) na katika kuboresha kwa mtindo wa mafunzo ya lugha nyingine, kwa njia zote (LRL en). Tunaonyesha zaidi kuwa mabadiliko ya maneno ya mtindo huo yanasababisha mgawanyiko bora zaidi kwa LRL ukilinganisha na kuboresha kwa moja. Majaribio yanaonyesha shughuli za upya katika wakati wa mafunzo na utendaji wa ufanisi wa muhimu unapata zaidi ya misingi ya LRL, hata kwa data zero za LRL (+13.0 BLEU), hadi +17.0 BLEU kwa ajili ya kubadilishana kwa modeli ya lugha za awali yenye utaratibu wa taarifa zinazohusiana. Utawala wetu unaonyesha mbinu za sasa, kama vile mifano ya lugha mbalimbali na kuongezeka kwa takwimu, katika nchi nne za LRL.

Abstract

Name Recently, adapting MNMT to a LRL has shown to greatly improve performance. இந்த வேலையில், நாம் ஒரு MNMT மாதிரியை மறைக்கப்படாத LRL மாதிரியும் பிரச்சினையை தேர்ந்தெடுத்து தரவு தேர்வு மற்றும் ம LRL க்கான NMT மேம்படுத்த வேண்டுமானால், மொழி தூரத்தை அடிப்படையில் HRL தரவை தேர்ந்தெடுக்க HRL தகவல்களை தேர்ந்தெடுக்க நாம் ச பிரபல மொழி NMT அமைப்புகளில் நாம் தரவு தேர்வை விரிவாக தேர்வு செய்கிறோம், அதாவது (பூஜ்ஜியம்) மொழிமாற்றில், மேலும் பல மொழி முன்பயிற்சி மாதிரியிலிரு நாம் மாதிரியின் சொல்வளத்தின் ஒழுங்குப்பொருட்களை மேலும் காட்டுகிறோம் என்றால் நேரான ஒழுங்குப்பொருட்டு LRL க்கு மேலு பரிசோதனைகள் பயிற்சி நேரத்தில் மற்றும் முக்கியமான செயல்பாடு LRL அடிப்படைகளில் வெற்றி பெறுகிறது, பூஜ்ஜியமாக LRL data (+13. 0 BLEU) கூட, முன்பயிற்சிக்கப்பட்ட பல மொழி மாதிரி மாத எங்கள் முறைமை நான்கு LRL மேல் நடப்பு முறைகளை வெளியேற்றுகிறது, அதாவது பல மொழி மாதிரிகள் மற்றும் தரவு மேம்படுத்தல்.

Abstract

Köp dilli Neural Maşynyň terjimesi (MNMT) düşük resurslar dilleri (LRL) üçin bilim ýokary resurslar dili (HRL) bilen gelişýär ýöne, ýöne HRL'iň golaýaty adatça diller ýaly görünýär barada öň bellenen diller barada ynanýar. Soňky wagtlar, MNMT'i LRL'a üýtgetmek ukyplary has gowurak görkezildi. Bu işde, biz MNMT modelini görünmemeýän LRL'e golaýlamak üçin problemini keşif edip duruyoruz. NMT üçin LRL üçin gelişmek üçin, HRL maglumaty üçin iň ýakyn LRL maglumaty dil aralygyna görä tertiblenmek üçin bir sarhoş işleýäris. Biz eýleki köp dilli NMT düzümlerinde maglumat saýlawyny ekleýän, hemişe-de (zero-shot) terjimelerinde we öňki dilli öňki bilim taýýarlanmasynda (LRL en). Biz nusganyň s özleriniň dinamik adaptasiýasynyň netijesini LRL'iň derejesi adaptasiýasy bilen görä has gowy bir segmentasyýany görkezýäris. Denminatlar LRL baz hatlaryň üstünde ýene-täzelikleri we möhüm kanunlaryň üstüne ýene-täzeliklerini görkezýär (+13.0 BLEU) we şu şekilde +17.0 BLEU-a gollanan ýagdaýda öň-täzelikli multi diller modi dinamik adaptasyýasy bilen tanyşdyrylýar. Biziň ýagdaýymyz häzirki ýagdaýlaryň çykyşyny dört LRL üstünde çykýar.

Abstract

بہت سی زبان کی نیورال ماشین ترجمہ (MNMT) کم منبع زبانوں کے لئے (LRL) اچھی منبع زبانوں کی موجودگی سے زیادہ زیادہ کر سکتی ہے، لیکن HRL کی ارتباط معمولاً زبان مثالی کے بارے میں پہلے مقرر کی زبان مثالیں پر باقی رہتی ہے. اچھا، MNMT کو LRL کے ساتھ اضافہ کرنا بہت اضافہ کرتا ہے۔ اس کام میں ہم نے MNMT موڈل کو غیر مشاهده LRL کے مطابق ڈیٹ انتخاب اور موڈل اڈپٹ-ٹ کے مطابق مطابق کرنے کے مسئلہ کو دیکھا ہے. LRL کے لئے NMT کو بہتر کرنے کے لئے، ہم HRL ڈاکٹوں کو انتخاب کرنے کے لئے غلط استعمال کرتے ہیں جو زبان فاصلہ پر LRL کے زیادہ برابر ہیں. ہم بہت سی زبان مزید زبان NMT سیٹیوں میں ڈیٹا انتخاب کرنے کے لئے اضافہ کرتے ہیں، یعنی (صفر-شٹ) ترجمہ میں، اور ایک multilingual pre-trained model (LRL en) سے اضافہ کرنے کے لئے۔ ہم اس کے علاوہ دکھاتے ہیں کہ موڈل کی آواز شناسی کی سیمالیک اضافہ کا نتیجہ LRL کے لئے مستقیم اضافہ کے مقابلہ میں زیادہ مہربانی سقم میں ہے. تجربے کی تدریس زمان میں دوبارہ دکھاتے ہیں اور لرل بنیس لینٹوں پر اثر اثر حاصل کرتی ہیں، حتی لرل ڈیٹا (+13.0 BLEU) کے ساتھ +17.0 BLEU تک پہلے تدریس کی ملتی زبان کی موڈل ڈینامیک اثرات کے لئے۔ ہمارا طریقہ چار LRL پر موجود طریقے سے زیادہ اجرا کرتا ہے، جیسے بہت سی زبان مدل اور ڈیٹا اضافہ کرتا ہے.

Abstract

Name Yaqinda MNMT'ni LRL'ga oʻzgartirish imkoniyatini juda yaxshi ko'rsatadi. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adapta- tion. @ info Biz ko'plab tili NMT moslamalarida maʼlumot tanlashni aniqlamiz, bu tildan bir necha tildan foydalanadigan tarjima qilamiz, va bir necha tildan oldin foydalanilgan modeldan o'zgartirish uchun (LRL en). Ko'rib chiqqamiz, modelning vositalarning dynamic adaptation resultini LRL'ning soʻzlariga ko'rsatish uchun yaxshi bo'lishi mumkin. Name Бизнинг усулимиз ҳозирги усулларни тўртта LRL томонидан кўриб чиқади.

Abstract

Dịch đa ngôn ngữ thần kinh (MX) cho ngôn ngữ thấp nguồn (LL) có thể tăng cường nhờ có các ngôn ngữ cao chất liên quan (HRL) nhưng liên hệ với HRL thường dựa trên định nghĩa ngôn ngữ khác nhau được xác định trước về khả năng chung ngôn ngữ. Gần đây, việc sửa MX cho một con LR đã cho thấy hiệu quả tăng đáng kể. Trong công việc này, chúng ta sẽ tìm hiểu vấn đề sửa đổi mô hình MPT đến một loại LR vô hình. Dùng cách chọn dữ liệu và sửa mô hình. Để cải thiện NMT cho LL, chúng tôi dùng sự phức tạp để chọn những dữ liệu HRL gần nhất với LAL dựa trên độ xa ngôn ngữ. Chúng tôi tìm hiểu sâu về việc chọn dữ liệu trong thiết lập NMT nổi tiếng, cụ thể trong dịch (không bắn) và trong sửa đổi từ mô hình đã được huấn luyện nhiều loại, cho cả hai hướng (LL en). Chúng tôi cũng cho thấy s ự thích nghi từ vựng động động sẽ tạo ra một phân chia cho LL thuận lợi hơn so với thích ứng trực tiếp. Các thí nghiệm cho thấy có nhiều sản xuất trong thời gian huấn luyện và hiệu suất tăng đáng kể trên các đường hầm LL, thậm chí bằng không dữ liệu LL (+13.0 tạo tự động) cho đến (+17.0 lgU) cho mô- loa đa dạng đã được đào tạo theo tỷ lệ phụ thuộc với sự lựa chọn dữ liệu liên quan. Cách của chúng tôi vượt trội các phương pháp hiện tại, như các mô- đun đa dạng rộng lớn và gia tăng dữ liệu, trên bốn cột sống.

Abstract

低资源言语(LRL)者多言神经机器翻译(MNMT)可以相关高(HRL)者强,而HRL者相关性常赖言语相似性预定义语言假设。近将MNMMT调LRL已验可大大提高性能。于此,论用数适应性将MNMT应不见之LRL。所以崇LRL之NMT,以困惑言语相去之本,择与LRL最相似者HRL数。博求多言NMT置中之数据选择,(零次)译与多言预练模双向(LRLen↔)。明与直比,词汇应LRL利细分。实验虽 LRL 数为零(+13.0 BLEU),练时复调著,达 +17.0 BLEU豫练者多言动应数据选择。吾法于四LRL上优于前,如大言模形及数据增强。

Anthology ID:: 2019.iwslt-1.16
Volume:: Proceedings of the 16th International Conference on Spoken Language Translation
Month:: November 2-3
Year:: 2019
Address:: Hong Kong
Venues:: EMNLP | IWSLT
SIG:: SIGSLT
Publisher:: Association for Computational Linguistics
Note:
Pages:
Language:
URL:: https://aclanthology.org/2019.iwslt-1.16
DOI:
Bibkey:
Cite (ACL):: Surafel M. Lakew, Alina Karakanta, Marcello Federico, Matteo Negri, and Marco Turchi. 2019. Adapting Multilingual Neural Machine Translation to Unseen Languages. In Proceedings of the 16th International Conference on Spoken Language Translation, Hong Kong. Association for Computational Linguistics.
Cite (Informal):: Adapting Multilingual Neural Machine Translation to Unseen Languages (Lakew et al., IWSLT 2019)
Copy Citation:
PDF:: https://aclanthology.org/2019.iwslt-1.16.pdf
Code: surafelml/adapt-mnmt
Terminologies:

PDF Cite Search Code Translate