Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation

Shuhao Gu; Yang Feng; Wanying Xie

doi:10.18653/v1/2021.naacl-main.308

Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation @ action Failed: Name Name

Abstract

Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. However, the existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. To address these three problems, we propose a method of divide and conquer which is based on the importance of neurons or parameters for the translation model. In this method, we first prune the model and only keep the important neurons or parameters, making them responsible for both general-domain and in-domain translation. Then we further train the pruned model supervised by the original whole model with knowledge distillation. Last we expand the model to the original size and fine-tune the added parameters for the in-domain translation. We conducted experiments on different language pairs and domains and the results show that our method can achieve significant improvements compared with several strong baselines.

Abstract

Domeinaanpassing is vaste gebruik in praktiese toepassings van neurale masjien vertaling, wat doel om goeie prestasie te bereik op beide algemene domein en in- domein data. Maar die bestaande metodes vir domein-adaptasie lyk gewoonlik van katastrofiske vergeet, groot domein-divergensie en model-eksplosie. Om hierdie drie probleme te raak, voorstel ons 'n metode van 'deel en konquer' wat gebaseer is op die belangrikheid van neurone of parameters vir die vertaling model. In hierdie metode, ons maak eerste die model skryf en hou slegs die belangrike neurone of parameters, maak hulle responsabil vir beide algemene-domein en in-domein-vertaling. Toe tref ons verder die gedrukte model wat deur die oorspronklike hele model met kennis destilasie ondersoek is. Laas ons uitbrei die model na die oorspronklike grootte en fin-tune die bygevoeg parameters vir die in-domein vertaling. Ons het eksperimente gedoen op verskillende taal paar en domeine en die resultate wys dat ons metode betekende verbeteringe kan bereik, vergelyk met verskeie sterke basisline.

Abstract

ዶሜን አዳaptation በጠቅላላ ፕሮግራሞች በኔural machine ትርጉም ላይ በተጠቃሚ ተጠቃሚ ነው፡፡ ነገር ግን የዶሜን ማቀናቀል የሥልጣን ሥርዓት በተሳሳተ ግጭት፣ ትልቅ የዶሜን ግንኙነት እና ሞዴል እየተነቃቃነ ነው፡፡ To address these three problems, we propose a method of 'divide and conquer' which is based on the importance of neurons or parameters for the translation model. በዚህ ዓይነት ምሳሌውን አስቀድመን እናሳድጋለን እና የጠቃሚውን የሆኖችን ወይም parameters ብቻ እናደርጋቸዋለን፡፡ ከዚህም በኋላ የመጀመሪያው ሙሉ ሞዴል በተጠበቀው ብልሃተኛ ሞዴል እውቀትን በተለየን እናስተምራለን፡፡ መጨረሻ የተጨማሪው ተርጓሚዎች በ-domain ትርጉም የተጨማሪውን ተርጓሚዎች እና በመጀመሪያው መጠን እና በመስመር እና በጥሩ እና ማሰናከል። በተለያዩ ቋንቋዎች እና ድሆች ላይ ተፈተናን እና ፍሬያዎቻችን ከጥቂት ብርቱ መሠረት ጋር እንደሚያሳየው ጥቅማችን እንዲያገኝ ይችላል፡፡

Abstract

يُستخدم تكييف المجال على نطاق واسع في التطبيقات العملية للترجمة الآلية العصبية ، والتي تهدف إلى تحقيق أداء جيد في كل من بيانات المجال العام وبيانات المجال. ومع ذلك ، فإن الطرق الحالية لتكييف المجال عادة ما تعاني من النسيان الكارثي ، والتباعد الكبير في المجال ، وانفجار النموذج. لمعالجة هذه المشاكل الثلاث ، نقترح طريقة "فرق تسد" والتي تستند إلى أهمية الخلايا العصبية أو المعلمات لنموذج الترجمة. في هذه الطريقة ، نقوم أولاً بتقليم النموذج والاحتفاظ فقط بالخلايا العصبية أو المعلمات المهمة ، مما يجعلها مسؤولة عن كل من ترجمة المجال العام وداخل المجال. ثم نقوم بتدريب النموذج المشذب الذي يشرف عليه النموذج الأصلي بالكامل مع تقطير المعرفة. أخيرًا ، قمنا بتوسيع النموذج إلى الحجم الأصلي وضبط المعلمات المضافة للترجمة داخل المجال. لقد أجرينا تجارب على أزواج ومجالات لغوية مختلفة وأظهرت النتائج أن طريقتنا يمكن أن تحقق تحسينات كبيرة مقارنة بالعديد من خطوط الأساس القوية.

Abstract

Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. Ancaq domeinin uyğunlaşdırması üçün müəyyən yollar genellikle katastrofi unutduğundan, böyük domenin fərqliyinə və modellərin patlamasından çəkilir. Bu üç problemlərə çəkilmək üçün, tercümə modeli üçün nöronu və parametrlərin möhümətinə dayanan 'bölüş və qalib' metodlarını təklif edirik. Bu metodlarda, ilk dəfə modeli çəkirik və yalnız möhüm nöronu və parametruları saxlayırıq, onları genel domeinin və domeinin çevirində sorumlu edərik. Sonra bütün modellərin nəzarətində təşkil edilmiş modelləri elm destilyası ilə təhsil edirik. Sonunca modeli original ölçüyə genişləndirdik və domain tercümünün əlavə edilmiş parametrləri düzəldirdik. Biz müxtəlif dil çiftləri və domenilər barəsində təcrübələr etdik və sonuçları göstərdi ki, metodumuzun çoxlu qüvvətli sətir ilə müqayisədə möhkəm düzəltmələri başa düşə bilər.

Abstract

Адаптацията на домейна се използва широко в практическите приложения на невронния машинен превод, който има за цел постигане на добра производителност както на общи домейни, така и на вътрешни данни. Съществуващите методи за адаптация на домейна обаче обикновено страдат от катастрофално забравяне, голяма дивергенция на домейните и експлозия на модела. За да се справим с тези три проблема, предлагаме метод на разделяне и владеене, който се основава на значението на невроните или параметрите за модела на превода. При този метод първо подрязваме модела и запазваме само важните неврони или параметри, което ги прави отговорни както за общия, така и за вътрешния превод. След това допълнително обучаваме подрязания модел, контролиран от оригиналния цял модел с дестилация на знания. Последно разширяваме модела до оригиналния размер и фино настройваме добавените параметри за превода в домейна. Проведохме експерименти с различни езикови двойки и домейни и резултатите показват, че методът ни може да постигне значителни подобрения в сравнение с няколко силни базови линии.

Abstract

নিউরুল মেশিন অনুবাদের ব্যাপারে ডোমেন অ্যাডাপ্যাপটেশন ব্যবহার করা হয়, যার লক্ষ্য হচ্ছে সাধারণ ডোমেইন এবং ডোমেইন ডাটা উভয়ের উপর ভালো তবে ডোমেইন আপডেশনের বিদ্যমান পদ্ধতি সাধারণত বিপর্যয় ভুলে গেছে, বিশাল ডোমেইন বিভাগ এবং মডেল বিস্ফোরণ। এই তিনটি সমস্যাগুলোকে ঠিক করার জন্য আমরা একটি 'ভাগ করে দেব এবং বিজয়ী' পদ্ধতি প্রস্তাব করি, যা অনুবাদ মডেলের জন্য নিউরন অথবা প্যারামিটারের গ এই পদ্ধতিতে আমরা প্রথম মডেলটিকে মুছে ফেলি এবং শুধুমাত্র গুরুত্বপূর্ণ নিউরন বা প্যারামিটার রাখি, যার ফলে তাদের দায়িত্ব সা তারপর আমরা পুরো মূল মডেল দ্বারা পরিচালিত হয়েছিলাম জ্ঞান বিচারের মাধ্যমে। শেষ পর্যন্ত আমরা মোডেলটিকে মূল আকার ও ভালো সূত্রে বিস্তৃত করেছি- ডোমেইন অনুবাদের জন্য যোগ করা প্যারামিটার। আমরা ভিন্ন ভাষার জোড়া এবং ডোমেইনে পরীক্ষা করেছি এবং ফলাফল দেখাচ্ছি যে আমাদের পদ্ধতি বেশ কয়েকটি শক্তিশালী ভেসেলাইনের তুলনায় বিশ

Abstract

Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. ཡིན་ནའང་། existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. To address these three problems, we propose a method of 'divide and conquer' which is based on the importance of neurons or parameters for the translation model. In this method, we first prune the model and only keep the important neurons or parameters, making them responsible for both general-domain and in-domain translation. འོན་ཀྱང་། ང་ཚོས་རང་གི་མ་དབྱིབས་དཔྱད་འཛིན་བྱས་པའི་རྣམ་པ་ལྟར་མཇུག་བསྡུ་གི་ཡོད། Last we expand the model to the original size and fine-tune the added parameters for the in-domain translation. ང་ཚོས་སྐད་ཡིག

Abstract

Domena adaptacija se široko koristi u praktičnim primjenima prevoda neuralnih strojeva, kojim se cilja ostvariti dobre učinke na općem domenu i podacima u domenu. Međutim, postojeće metode za adaptaciju domena obično pati od katastrofalnog zaboravljanja, velike razlike domena i eksplozije modela. Za rješavanje tih tri problema predlažemo metodu "podijeliti i osvajati", koja je temeljena na važnosti neurona ili parametara za model prevoda. U ovoj metodi, prvi put prerezamo model i zadržavamo važne neurone ili parametre, čineći ih odgovornim za prevod općeg domena i domena. Onda ćemo dalje trenirati obrezan model koji je nadzirao originalni model sa destilacijom znanja. Posljednji put smo proširili model na originalnu veličinu i finalizirali dodatne parametre za prevod u domenu. Provodili smo eksperimente o različitim jezičkim parovima i domenama i rezultati pokazuju da naš metod može ostvariti značajne poboljšanje u usporedbi s nekoliko jakih osnovnih linija.

Abstract

L'adaptació al domini s'utilitza ampliament en aplicacions pràctiques de traducció neural de màquines, que busca aconseguir bons resultats tant en domini general com en domini. However, the existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. Per abordar aquests tres problemes, proposem un mètode de 'dividir i conquistar' basat en l'importància de les neurones o paràmetres per al model de traducció. En aquest mètode, primer prunem el model i només mantenim les neurones o paràmetres importants, fent-les responsables tant de traducció general-domini com en domini. Then we further train the pruned model supervised by the original whole model with knowledge distillation. L'última vegada ampliem el model a la mida original i ajustem els paràmetres afegits per a la traducció en domini. Hem fet experiments en parells i dominis de llenguatges diferents i els resultats mostran que el nostre mètode pot aconseguir millores significatives comparats amb diverses línies de base fortes.

Abstract

Doménová adaptace je široce využívána v praktických aplikacích neuronového strojového překladu, jehož cílem je dosáhnout dobrého výkonu na obecných doménových i in-doménových datech. Stávající metody adaptace domén však obvykle trpí katastrofickým zapomenutím, velkou doménovou divergencí a modelovou explozí. Pro řešení těchto tří problémů navrhujeme metodu "dělit a vládnout", která je založena na významu neuronů nebo parametrů pro translační model. V této metodě nejprve prořezáváme model a ponecháme si pouze důležité neurony nebo parametry, čímž jsou zodpovědné za generální i in-doménový překlad. Dále trénujeme řezaný model pod dohledem původního celého modelu s znalostní destilací. Nakonec rozšíříme model na původní velikost a doladíme přidané parametry pro překlad v doméně. Provedli jsme experimenty na různých jazykových párech a doménách a výsledky ukazují, že naše metoda může dosáhnout významných zlepšení ve srovnání s několika silnými základními liniemi.

Abstract

Domain Adaption anvendes i vid udstrækning i praktiske anvendelser af neural maskinoversættelse, som sigter mod at opnå god ydeevne på både generelle domæne og in-domæne data. Men de eksisterende metoder til domænetilpasning lider normalt af katastrofal glemmelse, store domæneafvigelser og modelleeksplosion. For at løse disse tre problemer foreslår vi en metode til at "dele og erobre", der er baseret på betydningen af neuroner eller parametre for oversættelsesmodellen. I denne metode beskærer vi først modellen og beholder kun de vigtige neuroner eller parametre, hvilket gør dem ansvarlige for både generel domæne og in-domæne oversættelse. Derefter træner vi videre den beskærede model overvåget af den oprindelige hele model med videndedestillation. Sidst udvider vi modellen til den oprindelige størrelse og finjusterer de tilføjede parametre for in-domæne oversættelse. Vi gennemførte eksperimenter på forskellige sprogpar og domæner, og resultaterne viser, at vores metode kan opnå betydelige forbedringer sammenlignet med flere stærke baselines.

Abstract

Domänenanpassung ist weit verbreitet in praktischen Anwendungen der neuronalen maschinellen Übersetzung, die darauf abzielt, gute Leistung sowohl auf allgemeinen Domänendaten als auch auf In-Domänendaten zu erzielen. Allerdings leiden die bestehenden Methoden zur Domänenanpassung meist unter katastrophalem Vergessen, großer Domänendiversität und Modellexplosion. Um diese drei Probleme anzugehen, schlagen wir eine Methode des "divide and conve" vor, die auf der Bedeutung von Neuronen oder Parametern für das Translationsmodell basiert. Bei dieser Methode beschneiden wir zuerst das Modell und behalten nur die wichtigen Neuronen oder Parameter bei, wodurch sie sowohl für die allgemeine als auch für die In-Domain-Translation verantwortlich sind. Anschließend trainieren wir das beschnittene Modell unter Aufsicht des ursprünglichen Gesamtmodells mit Wissensdestillation weiter. Zuletzt erweitern wir das Modell auf die Originalgröße und verfeinern die zusätzlichen Parameter für die In-Domain-Übersetzung. Wir haben Experimente an verschiedenen Sprachpaaren und Domänen durchgeführt und die Ergebnisse zeigen, dass unsere Methode im Vergleich zu mehreren starken Baselines signifikante Verbesserungen erzielen kann.

Abstract

Η προσαρμογή τομέων χρησιμοποιείται ευρέως στις πρακτικές εφαρμογές της νευρωνικής μηχανικής μετάφρασης, η οποία στοχεύει στην επίτευξη καλής απόδοσης τόσο σε γενικές περιοχές όσο και σε δεδομένα εντός τομέα. Ωστόσο, οι υπάρχουσες μέθοδοι προσαρμογής του τομέα συνήθως υποφέρουν από καταστροφική λησμονή, μεγάλη απόκλιση του τομέα και έκρηξη μοντέλου. Για να αντιμετωπιστούν αυτά τα τρία προβλήματα, προτείνουμε μια μέθοδο "διαίρεσης και κατάκτησης" η οποία βασίζεται στη σημασία των νευρώνων ή των παραμέτρων για το μοντέλο μετάφρασης. Σε αυτή τη μέθοδο, κόβουμε πρώτα το μοντέλο και διατηρούμε μόνο τους σημαντικούς νευρώνες ή παραμέτρους, καθιστώντας τους υπεύθυνους τόσο για τη γενική όσο και για τη μετάφραση εντός του τομέα. Στη συνέχεια εκπαιδεύουμε περαιτέρω το κλαδευμένο μοντέλο που εποπτεύεται από το αρχικό ολόκληρο μοντέλο με απόσταξη γνώσης. Τέλος επεκτείνουμε το μοντέλο στο αρχικό μέγεθος και τελειοποιούμε τις προστιθέμενες παραμέτρους για τη μετάφραση εντός του τομέα. Πραγματοποιήσαμε πειράματα σε διαφορετικά γλωσσικά ζεύγη και τομείς και τα αποτελέσματα δείχνουν ότι η μέθοδος μας μπορεί να επιτύχει σημαντικές βελτιώσεις σε σύγκριση με αρκετές ισχυρές γραμμές βάσης.

Abstract

La adaptación de dominio se usa ampliamente en aplicaciones prácticas de traducción automática neuronal, cuyo objetivo es lograr un buen rendimiento tanto en datos de dominio general como en datos de dominio interno. Sin embargo, los métodos existentes para la adaptación de dominios suelen sufrir olvidos catastróficos, grandes divergencias de dominios y explosión de modelos. Para abordar estos tres problemas, proponemos un método de «divide y vencerás» que se basa en la importancia de las neuronas o los parámetros para el modelo de traducción. En este método, primero podamos el modelo y solo mantenemos las neuronas o parámetros importantes, haciéndolos responsables de la traducción tanto de dominio general como dentro del dominio. Luego, entrenamos aún más el modelo podado supervisado por el modelo completo original con destilación de conocimiento. Por último, ampliamos el modelo al tamaño original y ajustamos los parámetros añadidos para la traducción dentro del dominio. Realizamos experimentos en diferentes pares de idiomas y dominios y los resultados muestran que nuestro método puede lograr mejoras significativas en comparación con varias líneas de base sólidas.

Abstract

Domeeni kohandamist kasutatakse laialdaselt neuromasintõlke praktilistes rakendustes, mille eesmärk on saavutada hea jõudlus nii ülddomeeni- kui ka domeenisisestel andmetel. Kuid olemasolevad domeenide kohandamise meetodid kannatavad tavaliselt katastroofilise unustamise, suure domeenide lahknevuse ja mudeli plahvatuse all. Nende kolme probleemi lahendamiseks pakume välja "jaga ja valluta" meetodi, mis põhineb neuronide või parameetrite tähtsusel tõlkemudeli jaoks. Selles meetodis põletame esmalt mudeli ja säilitame ainult olulised neuronid või parameetrid, muutes need vastutavaks nii ülddomeeni kui ka domeenisisese tõlke eest. Seejärel treenime edasi pühendatud mudelit, mida kontrollib algne kogu mudel teadmiste destilleerimisega. Lõpuks laiendame mudelit algse suuruseni ja täpsustame domeenisisese tõlke lisatud parameetreid. Me viisime läbi katseid erinevate keelepaaride ja domeenidega ning tulemused näitavad, et meie meetod suudab saavutada olulisi parandusi võrreldes mitmete tugevate lähtejoontega.

Abstract

Adaptation Domain is widely used in practical applications of neural machine translation, which aims to achieve good performance on both domain and in-domain data. با این حال، روش‌های موجود برای تغییرات دومین معمولاً از فراموش ناراحتی، اختلاف بزرگ دومین و انفجار مدل رنج می‌برند. برای حل این سه مشکل، ما یک روش از «تقسیم و شکست» پیشنهاد می‌کنیم که بر اساس اهمیت نورون یا پارامتر برای مدل ترجمه است. در این روش، ما اولین بار مدل را قطع می کنیم و فقط نورون یا پارامتر مهم را نگه می داریم، و آنها را مسئول ترجمه‌های ژنرال و دامنه‌ای می‌سازیم. بعدش ما مدل قطع شده را تمرین می کنیم که توسط کل مدل اصلی با استفاده از دانش است. آخرین ما مدل را به اندازه اصلی گسترش دادیم و پارامترهای اضافه برای ترجمه در دامنه‌ها را خوب تنظیم کردیم. ما آزمایش‌ها را روی جفت‌های زبان و دامنهای مختلف انجام دادیم و نتیجه‌ها نشان می‌دهند که روش ما می‌تواند بهترین‌های بزرگی را در مقایسه با چند خط‌های پایگاه‌های قوی به دست آورد.

Abstract

Domain Adaptaatiota käytetään laajalti neurokonekäännöksen käytännön sovelluksissa, joilla pyritään saavuttamaan hyvä suorituskyky sekä yleisellä että sisäisellä datalla. Nykyiset domain-sopeutumismenetelmät kärsivät kuitenkin yleensä katastrofaalisesta unohduksesta, suuresta domain-eroavuudesta ja malliräjähdyksestä. Näiden kolmen ongelman ratkaisemiseksi ehdotamme "jaa ja hallitse" -menetelmää, joka perustuu neuronien tai parametrien merkitykseen käännösmallissa. Tässä menetelmässä karsitaan ensin malli ja säilytetään vain tärkeät neuronit tai parametrit, jolloin ne ovat vastuussa sekä yleisistä että sisäisistä käännöksistä. Tämän jälkeen harjoittelemme edelleen karsitua mallia, jota ohjaa alkuperäinen koko malli tietotislauksella. Lopuksi laajennamme mallin alkuperäiseen kokoon ja hienosäädämme lisätyt parametrit verkkotunnuksen käännökselle. Teimme kokeita eri kielipareilla ja toimialueilla ja tulokset osoittavat, että menetelmällä voidaan saavuttaa merkittäviä parannuksia verrattuna useisiin vahvoihin lähtölinjoihin.

Abstract

L'adaptation de domaine est largement utilisée dans les applications pratiques de la traduction automatique neuronale, qui vise à obtenir de bonnes performances à la fois sur les données du domaine général et dans le domaine. Cependant, les méthodes existantes d'adaptation de domaines souffrent généralement d'un oubli catastrophique, d'une grande divergence de domaine et d'une explosion des modèles. Pour répondre à ces trois problèmes, nous proposons une méthode de « diviser pour mieux régner » qui repose sur l'importance des neurones ou des paramètres pour le modèle de traduction. Dans cette méthode, nous élaguons d'abord le modèle et ne conservons que les neurones ou paramètres importants, ce qui les rend responsables de la traduction dans le domaine général et dans le domaine. Ensuite, nous entraînons davantage le modèle élagué supervisé par le modèle complet original avec distillation des connaissances. Enfin, nous étendons le modèle à sa taille d'origine et affinons les paramètres ajoutés pour la traduction dans le domaine. Nous avons mené des expériences sur différentes paires de langues et domaines et les résultats montrent que notre méthode peut apporter des améliorations significatives par rapport à plusieurs bases de référence solides.

Abstract

Úsáidtear Oiriúnú Fearainn go forleathan in iarratais phraiticiúla ar aistriúchán meaisín neural, a bhfuil sé mar aidhm aige dea-fheidhmíocht a bhaint amach ar shonraí fearainn ghinearálta agus in-fhearainn. Mar sin féin, de ghnáth bíonn dearmad tubaisteach, éagsúlacht mhór fearainn, agus pléascadh samhlacha ag baint leis na modhanna atá ann cheana féin le haghaidh oiriúnú fearainn. Chun dul i ngleic leis na trí fhadhb seo, molaimid modh “roinnt agus ceannas” atá bunaithe ar thábhacht néaróin nó paraiméadair don mhúnla aistriúcháin. Ar an modh seo, gearrfaimid an tsamhail ar dtús agus ní choinnímid ach na néaróin nó na paraiméadair thábhachtacha, rud a fhágann go bhfuil siad freagrach as aistriúchán ginearálta agus in-fearainn araon. Ansin déanaimid oiliúint bhreise ar an múnla pruned faoi mhaoirseacht an mhúnla iomlán bunaidh le driogadh eolais. Ar deireadh leathnaímid an tsamhail chuig an méid bunaidh agus déanaimid mionchoigeartú ar na paraiméadair bhreise don aistriúchán in-fearainn. Rinneamar turgnaimh ar phéirí agus ar fhearainn éagsúla teanga agus léiríonn na torthaí gur féidir lenár modh feabhsuithe suntasacha a bhaint amach i gcomparáid le roinnt bonnlínte láidre.

Abstract

Ana yi amfani da Shiryoyin Domen cikin shiryoyin ayuka na fassarar kwamfyutan na'urar, don ya yi amfani da shi don ya sami tsarin mai kyau a danne guda da cikin-Domen. A lokacin da, metoden da ke ƙunsa wa adadi ɗin ayuka ko da ɗabi'a, za'a yi mata a cikin astarin da aka manta, tsakanin guda mai girma, da wata firawi mai motsi. Domin ka yi addu'a ga waɗannan matabbata uku, za'a buɗa'a da shirin 'ya raba kuma ya rinjãye' wanda aka ƙayyade wajen muhimmin neuron ko parameteri wa misali na fassarar. Daga wannan shirin, za mu sami misalin farko, kuma ke tsare neuron masu muhimu ko parameteri kawai, kuma Mu sanya su masu zartar da masu hususann-Domen da fassarar-gudan. Then we further train the pruned model supervised by the original whole model with knowledge distillation. @ info: whatsthis Mun sami jarrabi a kan nau'i biyu da dukkan harshe dabam-dabam, kuma matsalan na nuna cewa hanyoyinmu yana iya sami marubuci mai girma sami da misalin misãlai masu ƙarfi.

Abstract

התאמה למשפחה משתמשת באופן רחב באפליקציות מעשיות של התרגום של מכונות עצביות, המטרה להשיג ביצועים טובים גם במשפחה כללית וגם במידע בתחום. בכל אופן, השיטות הקיומות להסתגלות לתחום בדרך כלל סובלות משכחות קטסטרופיות, מגוון בתחום גדול, ופיצוץ מודל. כדי להתמודד עם שלושת הבעיות האלה, אנו מציעים שיטה של "לחלק ולכיבוש" שמבוססת על חשיבות של נוירונים או פרמטרים למודל התרגום. בשיטה זו, אנחנו קודם משקיעים את המודל ולשמור רק את הנוירונים החשובים או הפרמטרים, הופכים אותם אחראיים גם לתרגום כללי וגם בתרגום. ואז אנו מאמן עוד את הדוגמא המתוקפת ששולטת על ידי כל הדוגמא המקורית עם משקה ידע. בפעם האחרונה אנו מגדילים את הדוגמא לגודל המקורי ולהגדיל את הפרמטרים המווספים לתרגום בתחום. ביצענו ניסויים על זוגות שפות שונות בתחומים והתוצאות מראות שהשיטה שלנו יכולה להשיג שיפורים משמעותיים בהשוואה לכמה קווים בסיסיים חזקים.

Abstract

डोमेन अनुकूलन व्यापक रूप से तंत्रिका मशीन अनुवाद के व्यावहारिक अनुप्रयोगों में उपयोग किया जाता है, जिसका उद्देश्य सामान्य डोमेन और इन-डोमेन डेटा दोनों पर अच्छा प्रदर्शन प्राप्त करना है। हालांकि, डोमेन अनुकूलन के लिए मौजूदा तरीके आमतौर पर भयावह भूल, बड़े डोमेन विचलन और मॉडल विस्फोट से पीड़ित होते हैं। इन तीन समस्याओं को हल करने के लिए, हम "विभाजित करें और जीतें" की एक विधि का प्रस्ताव करते हैं जो अनुवाद मॉडल के लिए न्यूरॉन्स या मापदंडों के महत्व पर आधारित है। इस विधि में, हम पहले मॉडल को काटते हैं और केवल महत्वपूर्ण न्यूरॉन्स या पैरामीटर रखते हैं, जिससे उन्हें सामान्य-डोमेन और इन-डोमेन अनुवाद दोनों के लिए जिम्मेदार बनाया जाता है। फिर हम आगे ज्ञान आसवन के साथ मूल पूरे मॉडल द्वारा पर्यवेक्षित छंटाई मॉडल को प्रशिक्षित करते हैं। पिछले हम मूल आकार के लिए मॉडल का विस्तार और ठीक ट्यून में डोमेन अनुवाद के लिए जोड़ा मापदंडों. हमने विभिन्न भाषा जोड़े और डोमेन पर प्रयोग किए और परिणाम दिखाते हैं कि हमारी विधि कई मजबूत बेसलाइन की तुलना में महत्वपूर्ण सुधार प्राप्त कर सकती है।

Abstract

Domena adaptacija se široko koristi u praktičnim primjenama prevoda neuralnih strojeva, kojim se cilja ostvariti dobre učinke na općem domenu i podacima u domenu. Međutim, postojeće metode za adaptaciju domena obično pate od katastrofalnog zaboravljanja, velike razlike domena i eksplozije modela. Za rješavanje tih tri problema predlažemo metodu "podijeliti i osvojiti", koja je temeljena na važnosti neurona ili parametara za model prevoda. U ovoj metodi, prvi put ćemo pružiti model i zadržati važne neurone ili parametre, čineći ih odgovornim za prevod općeg domena i domena. Onda ćemo dalje trenirati obrezan model koji je nadzirao originalni model sa destilacijom znanja. Posljednje smo proširili model na originalnu veličinu i ispravili dodatne parametre za prevod u domenu. Provodili smo eksperimente o različitim jezičkim parovima i domenama i rezultati pokazuju da naš metod može postići značajne poboljšanje u usporedbi s nekoliko jakih osnovnih linija.

Abstract

A Domain adaptációt széles körben használják az idegi gépi fordítás gyakorlati alkalmazásaiban, amelynek célja, hogy jó teljesítményt érjen el mind az általános domain, mind a domain adatok területén. A meglévő domain adaptációs módszerek azonban általában katasztrofális felejtéstől, nagy domain eltéréstől és modellrobbanástól szenvednek. E három probléma megoldása érdekében javaslatot teszünk az "osztás és hódítás" módszerére, amely a neuronok vagy paraméterek fontosságán alapul a fordítási modell szempontjából. Ezzel a módszerrel először kivágjuk a modellt, és csak a fontos neuronokat vagy paramétereket tartjuk meg, így ők felelősek mind az általános, mind a domain fordításért. Ezután továbbképzünk az eredeti teljes modell által felügyelt metszett modellt ismeretlepárlással. Végül kibővítjük a modellt az eredeti méretre és finomhangoljuk a hozzáadott paramétereket a domain-fordításhoz. Különböző nyelvpárokon és tartományokon végeztünk kísérleteket, és az eredmények azt mutatják, hogy módszerünk jelentős javulást érhet el több erős alapvonalhoz képest.

Abstract

Դոմենի ադապտացիան լայնորեն օգտագործվում է նյարդային մեքենայի թարգմանման գործնական ծրագրերում, որոնք նպատակով են լավ արդյունք հասնել և ընդհանուր տիեզերքում, և տիեզերքում: However, the existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. Այս երեք խնդիրների լուծման համար մենք առաջարկում ենք "բաժանել և հաղթել" մեթոդ, որը հիմնված է նեյրոնների կամ պարամետրերի կարևորության վրա թարգմանման մոդելի համար: Այս մեթոդի միջոցով մենք առաջին անգամ մոդելը ճնշում ենք և պահում ենք միայն կարևոր նեյրոնները կամ պարամետրերը, դարձնելով դրանք պատասխանատու ընդհանուր տիեզերքի և տիեզերքի թարգմանման համար: Այնուհետև մենք նաև վարժեցնում ենք սկզբնական ամբողջ մոդելը գիտելիքների բաժանությամբ: Վերջին անգամ մենք ընդլայնում ենք մոդելը մինչև սկզբնական չափսերը և բարձրացնում ենք արտադրյալ թարգմանման ավելացված պարամետրերը: Մենք տարբեր լեզվի զույգերի և բնագավառների վրա փորձեր կատարեցինք, և արդյունքները ցույց են տալիս, որ մեր մեթոդը կարող է նշանակալի բարելավումներ հասնել համեմատած որոշ ուժեղ հիմնական գծերի հետ:

Abstract

Adaptasi Domain sangat digunakan dalam aplikasi praktis terjemahan mesin saraf, yang bertujuan untuk mencapai prestasi yang baik pada domain umum dan data dalam domain. Namun, metode yang ada untuk adaptasi domain biasanya menderita dari melupakan bencana, divergensi domain besar, dan ledakan model. Untuk mengatasi tiga masalah ini, kami mengusulkan metode 'membagi dan menaklukkan' yang berdasarkan penting neuron atau parameter untuk model terjemahan. Dalam metode ini, kita pertama-tama mengukir model dan hanya menyimpan neuron penting atau parameter, membuat mereka bertanggung jawab untuk kedua-dua domain umum dan dalam domain terjemahan. Kemudian kita melatih model pruned yang diawasi oleh model asli seluruh dengan distillasi pengetahuan. Terakhir kita memperluas model ke ukuran asli dan memperbaiki parameter tambahan untuk terjemahan dalam domain. We conducted experiments on different language pairs and domains and the results show that our method can achieve significant improvements compared with several strong baselines.

Abstract

L'adattamento del dominio è ampiamente usato nelle applicazioni pratiche della traduzione automatica neurale, che mira a raggiungere buone prestazioni sia sui dati di dominio generale che in-dominio. Tuttavia, i metodi esistenti per l'adattamento del dominio di solito soffrono di dimenticanza catastrofica, grande divergenza del dominio e esplosione del modello. Per affrontare questi tre problemi, proponiamo un metodo di 'dividere e conquistare' basato sull'importanza dei neuroni o dei parametri per il modello di traduzione. In questo metodo, prima potamo il modello e manteniamo solo i neuroni o parametri importanti, rendendoli responsabili sia della traduzione generale che in-domain. Poi addestriamo ulteriormente il modello potato supervisionato dall'intero modello originale con distillazione della conoscenza. Infine espandiamo il modello alle dimensioni originali e perfezioniamo i parametri aggiunti per la traduzione in-domain. Abbiamo condotto esperimenti su diverse coppie linguistiche e domini e i risultati mostrano che il nostro metodo può ottenere miglioramenti significativi rispetto a diverse linee di base forti.

Abstract

ドメイン適応は、一般的なドメインデータとドメイン内データの両方で良好なパフォーマンスを達成することを目的とした、ニューラル機械翻訳の実用的なアプリケーションで広く使用されています。しかしながら、ドメイン適応のための既存の方法は、通常、壊滅的な忘却、大きなドメインの乖離、およびモデルの爆発に苦しむ。これら3つの問題に対処するために、翻訳モデルのニューロンまたはパラメータの重要性に基づいた「分割と征服」の方法を提案します。この方法では、まずモデルを剪定し、重要なニューロンまたはパラメータのみを保持し、一般ドメイン翻訳とドメイン内翻訳の両方を担当させます。そして、オリジナルの全モデルが監修する剪定済みモデルを知識蒸留でさらにトレーニングします。最後に、モデルを元のサイズに拡張し、ドメイン内翻訳に追加されたパラメータを微調整します。我々は、異なる言語ペアとドメインの実験を行い、その結果は、我々の方法がいくつかの強力なベースラインと比較して有意な改善を達成することができることを示した。

Abstract

domain Adjustation is often used in pracal Application of Neral device translation, that goal to success Language Nyong ngomong telu boten iki, kita supoyo sistem "divise" lan "conquery" In this method, we first prane the model and only continue the Important Nerns or parameters, make it responsible for gan General-domain and in-domain translation. Amarok neng kaluwah-kaluwah sing luwih dumaten model sing ngenuwis kuwi lho model sing apik dadi, nik awak dhéwé kuwi maun. Last we expand the model to the Original size and Fin- tune the Add parameters for the in-domain translation. Awak dhéwé éntuk éntuk éntukno karo perusahaan kanggo ngerasah luwih-luwih lan winih lan barang nggawe barang nggawe barang nggawe sistem sing bisa dianggawe barang langgar sampek karo akeh basa sing luwih dumadhi.

Abstract

Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. მაგრამ, დემომინის ადატაციაციის მიმდინარეობის მეტოვები საუკეთესოდ კატატროფიური დაბრუნებისგან, დიდ დემომინის განსხვავებას და მოდელური ექსპლეციას ამ სამი პრობლემების შესახებ, ჩვენ მივიღებთ 'გაყოფილი და გადავაკეთოთ' რომელიც ნეირონების ან პარამეტრების მნიშვნელობა მოდელისთვის დაბაზეულია. ამ პროგორმაში, ჩვენ პირველად მოდელს გადაწყენებთ და მხოლოდ მნიშვნელოვანი ნეირონები ან პარამეტრები დავყენებთ, რომლებიც ისინი საუკეთესო დიომენზე და დემომი შემდეგ ჩვენ უფრო მეტად გავარწმუნეთ მოდელს, რომელიც ორიგინალური მოდელზე დავარწმუნეთ უფრო ცნობიერი დისტლილაციაზე. ბოლოდან ჩვენ მოდელის განვითარებით ორიგინალური ზომაში და დამატებული პარამეტრების განვითარებისთვის დამატებით. ჩვენ ექსპერიმენტები განსხვავებული ენის ზოგებით და დომენების შესახებ, რომ ჩვენი მეთოდი შეიძლება გავაკეთოთ მნიშვნელოვანი უფლებების შესახებ მნიშვნელოვანი მ

Abstract

Домендің адаптациясы невралдық компьютердің аудармасының практикалық қолданбаларында көп қолданылады. Бұл домендің жалпы доменде және домендің деректерінде жақсы істеу мақсатын. Бірақ домен адаптациялауының әдістері әдетте катастрофиялық ұмытылу, үлкен доменнің қасиеттері және үлгілеу үлгілері болады. Бұл үш мәселелелерді өзгерту үшін біз 'бөлу және жетілдіру' әдісін таңдаймыз. Бұл нейрондар не параметрлердің маңыздысына негізделген аудару үлгісінің маңыздысына Бұл әдістерде, бірінші үлгісін бұрып, тек маңызды нейрондарды не параметрлерді қалдырып, оларды жалпы доменге және доменге аударуға жауап береді. Содан кейін біз білім дистилациясы бойынша басқару үлгісін басқару үлгісін оқыдық. Соңғы біз үлгісін бастапқы өлшеміне кеңейту және домен аудармасының қосылған параметрлерін дұрыс түзету үшін кеңейту. Біз түрлі тілдер және домендер туралы тәжірибелерді жасадық. Нәтижелер біздің тәжірибеміз бірнеше күшті негізгі жолдармен салыстырып, көп жақсы жақсартылып

Abstract

분야는 신경기계 번역의 실제 응용에 적응하여 광범위하게 응용되었고 그 목적은 일반 분야와 분야 내 데이터에서 좋은 성능을 얻는 것이다.그러나 기존의 영역 적응 방법에는 재난적 망각, 영역 발산과 모델 폭발 등 문제가 종종 존재한다.이 세 가지 문제를 해결하기 위해 우리는 신경원이나 파라미터를 바탕으로 번역 모델의 중요성에 대한'분할치'방법을 제시했다.이 방법에서, 우리는 먼저 모델을 잘라서, 중요한 신경원이나 파라미터만 보존하여, 그것들이 일반 역과 역내 전환을 책임지도록 한다.그리고 지식 추출을 이용하여 원래의 전체 모델의 감독 아래 가지치기 모델을 더욱 훈련한다.마지막으로, 우리는 모델을 원시 크기로 확장하고, 역내 변환에 추가된 매개 변수를 변환할 것이다.우리는 서로 다른 언어가 화역에 대한 실험을 실시한 결과 몇 개의 강한 기선에 비해 우리의 방법은 현저한 개선을 얻을 수 있음을 나타냈다.

Abstract

Domaino pritaikymas plačiai naudojamas praktinėse nervinių mašin ų vertimo programose, kurios tikslas – pasiekti gerus rezultatus tiek bendrojo domeno, tiek domeno duomenise. Tačiau dabartiniai pritaikymo prie srities metodai paprastai kenčia nuo katastrofinio užmiršimo, didelių srities skirtumų ir modelio sprogimo. To address these three problems, we propose a method of 'divide and conquer' which is based on the importance of neurons or parameters for the translation model. Taikant šį metodą pirmiausia nuspaudžiame model į ir išsaugojame tik svarbius neuronus ar parametrus, padarydami juos atsakingus už visuotinį ir domeninį vertimą. Tuomet toliau mokome susmulkintą model į, prižiūrėtą viso originalaus modelio, su žinių distiliavimu. Paskutinį kartą išplėsime model į iki pradinio dydžio ir patobuliname pridėtus vertimo domene parametrus. Atlikome eksperimentus įvairiose kalbų porose ir srityse, ir rezultatai rodo, kad mūsų metodas gali pasiekti reikšmingų patobulinimų, palyginti su keliomis tvirtomis bazinėmis linijomis.

Abstract

Адаптацијата на доменот е широко употребена во практичните апликации на превод на невропските машини, кои имаат за цел да постигнат добра резултат на генералните податоци на доменот и во доменот. Сепак, постојните методи за адаптација на домените обично страдаат од катастрофално заборавање, голема дивергенција на домените и моделна експлозија. За да ги решиме овие три проблеми, предложуваме метод на „поделба и освојување“ кој се базира на важноста на невроните или параметрите за моделот на превод. Во овој метод, прво го исчистиме моделот и само ги задржуваме важните неврони или параметри, правејќи ги одговорни за преводот на генералниот домен и во домен. Потоа продолжуваме да го обучуваме моделот кој го надгледува оригиналниот цел модел со дистилација на знаење. Последно ќе го прошириме моделот на оригиналната големина и ќе ги поправиме додадените параметри за преводот во доменот. Ние спроведовме експерименти на различни јазички парови и домени и резултатите покажуваат дека нашиот метод може да постигне значителни подобрувања во споредба со неколку силни основни линии.

Abstract

ഡൊമെന്‍ അഡാപ്റ്റേഷന്‍ ന്യൂറല്‍ മെഷീന്‍ പരിഭാഷത്തിന്റെ പ്രാക്ഷണിക പ്രയോഗങ്ങളില്‍ വ്യാപ്തികമായി ഉപയോഗിക്കുന്നു. അതിന്റെ എന്നാലും ഡോമെന്‍ അഡാപ്റ്റേഷന്‍റെ നിലവിലുള്ള രീതികള്‍ സാധാരണയായി മറക്കുന്നതില്‍ നിന്നും വലിയ ഡൊമെയിന്‍ വ്യത്യസ്ത വിസ് ഈ മൂന്നു പ്രശ്നങ്ങളെ വിശദീകരിക്കാന്‍ 'വിഭാഗം ചെയ്യുകയും ജയിക്കുകയും ചെയ്യുന്നു' രീതിയില്‍ നാം പ്രായശ്ചിത്തം ചെയ്യുന് ഈ രീതിയില്‍, നമ്മള്‍ ആദ്യം മോഡല്‍ മുറിച്ചു മാറ്റുന്നു. പ്രധാനപ്പെട്ട ന്യൂറണുകള്‍ അല്ലെങ്കില്‍ പരാമീറ്ററുകള്‍ മാത്രമേ സൂക പിന്നീട് നമ്മള്‍ കൂടുതല്‍ പരിശീലിപ്പിക്കുന്നു, ആദ്യമായ മോഡല്‍ മുഴുവന്‍ മാതൃകയാല്‍ പരിശീലിക്കപ്പെട്ടി അവസാനം ഞങ്ങള്‍ മോഡലിനെ ആദ്യമായ വലിപ്പം വികസിപ്പിച്ചിരിക്കുന്നു. അതിന്റെ അടയാളങ്ങള്‍ ഡൊമൈന്‍ പരിഭാഷക്ക് ചേ We conducted experiments on different language pairs and domains and the results show that our method can achieve significant improvements compared with several strong baselines.

Abstract

Домены адаптаци нь мэдрэлийн машины хөрөнгө оруулалтын практикийн хэрэглээнд ашигладаг. Энэ нь ерөнхий домены болон домены өгөгдлийн талаар сайн үйл ажиллагааг олох зорилго юм. Гэвч хүрээлэн зөвшөөрөх арга нь ихэвчлэн гамшигтай мартагдах, том хүрээлэн буй өөрчлөлт болон загварын гамшигт оршдог. Эдгээр гурван асуудлуудыг олохын тулд бид "хуваавал, ховолдох" аргыг санал болгоно. Энэ нь мэдрэлийн эс параметрын чухал ач холбогдолтой. Энэ арга хэмжээнд бид анхны загварыг удирдаж, зөвхөн чухал мэдрэлийн эсүүд эсвэл параметрлүүдийг хадгалаж, ерөнхий домаар болон домаар орчуулалтын тухай хариуцлага болгож байна. Дараа нь бид мэдлэг сайжруулах бүх загвараар удирдагдаж байгаа загварыг дамжуулдаг. Сүүлийн үед бид загварыг эхний хэмжээнд нэмэгдсэн параметрлүүдийг тодорхойлох болно. Бид өөр хэл хоорондоо, хэл хоорондоо туршилт хийсэн бөгөөд үр дүнд бидний арга нь олон хүчтэй суурь шугамыг харьцуулахад маш чухал сайжруулах боломжтой гэдгийг харуулсан.

Abstract

Penyesuaian Domain digunakan secara luas dalam aplikasi praktik terjemahan mesin saraf, yang bertujuan untuk mencapai prestasi yang baik pada data domain umum dan dalam domain. Namun, kaedah sedia ada untuk penyesuaian domain biasanya menderita dari lupaan bencana, pelbagai domain besar, dan letupan model. Untuk mengatasi tiga masalah ini, kita cadangkan kaedah 'bahagi dan menaklukkan' yang berdasarkan kepentingan neuron atau parameter untuk model terjemahan. Dalam kaedah ini, kita pertama-tama mengukir model dan hanya menyimpan neuron atau parameter penting, membuat mereka bertanggungjawab untuk kedua-dua domain umum dan terjemahan dalam domain. Kemudian kita melatih model yang dipilih oleh seluruh model asal dengan pengetahuan. Terakhir kita mengembangkan model ke saiz asal dan tetapkan parameter ditambah untuk terjemahan dalam domain. Kami melakukan eksperimen pada pasangan dan domain bahasa yang berbeza dan hasilnya menunjukkan bahawa kaedah kami boleh mencapai peningkatan yang signifikan dibandingkan dengan beberapa garis dasar yang kuat.

Abstract

L-Adattament tad-Dominju jintuża b’mod wiesa’ fl-applikazzjonijiet prattiċi tat-traduzzjoni tal-magni newrali, li għandu l-għan li jikseb prestazzjoni tajba kemm fuq id-dejta tad-dominju ġenerali kif ukoll fuq id-dejta tad-dominju. Madankollu, il-metodi eżistenti għall-adattament tad-dominju normalment ibatu minn telf katastrofiku, diverġenza kbira fid-dominju, u splużjoni mudell. Biex nindirizzaw dawn it-tliet problemi, nipproponu metodu ta' 'diviżjoni u qbid' li huwa bbażat fuq l-importanza tan-newroni jew il-parametri għall-mudell ta' traduzzjoni. F’dan il-metodu, l-ewwel aħna nħassru l-mudell u nżommu biss in-newroni jew il-parametri importanti, u nagħmluhom responsabbli kemm għat-traduzzjoni tad-dominju ġenerali kif ukoll fid-dominju. Imbagħad aħna nħarrġu aktar il-mudell imqaxxar issorveljat mill-mudell oriġinali sħiħ bid-distillazzjoni tal-għarfien. Last we expand the model to the original size and fine-tune the added parameters for the in-domain translation. Saru esperimenti fuq pari u dominji lingwistiċi differenti u r-riżultati juru li l-metodu tagħna jista’ jikseb titjib sinifikanti meta mqabbel ma’ diversi linji bażi b’saħħithom.

Abstract

Domeinaanpassing wordt veel gebruikt in praktische toepassingen van neurale machinevertaling, die tot doel heeft goede prestaties te bereiken op zowel algemene domein- als in-domein data. De bestaande methoden voor domeinaanpassing lijden echter meestal onder catastrofale vergetelheid, grote domeindivergentie en modelonexplosie. Om deze drie problemen aan te pakken, stellen we een methode voor 'verdeel en heers' voor die gebaseerd is op het belang van neuronen of parameters voor het vertaalmodel. Bij deze methode snoeien we eerst het model en houden we alleen de belangrijke neuronen of parameters, waardoor ze verantwoordelijk zijn voor zowel algemene als in-domein vertaling. Vervolgens trainen we het gesnoeide model onder toezicht van het originele hele model verder met kennisdestillatie. Als laatste breiden we het model uit naar de originele grootte en verfijnen we de toegevoegde parameters voor de in-domein vertaling. We hebben experimenten uitgevoerd op verschillende taalparen en domeinen en de resultaten laten zien dat onze methode significante verbeteringen kan bereiken ten opzichte van verschillende sterke baselines.

Abstract

Domeneadaptasjon vert breidd brukt i praktiske program av neuralmaskineomsetjing, som må oppnå godt utvikling på både generelle domene og i domenedata. Dei eksisterande metodane for domeneadaptasjonen er imidlertid vanlegvis i katastrofisk glemmende, stor domenedivergens og modelleeksplosjon. For å handsama desse tre problema, foreslår vi ein metode for «delt og konquer», som er basert på viktigheten til neurone eller parametra for omsetjingsmodulen. I denne metoden viser vi første modellen og berre holde dei viktige neurone eller parametra, og gjør dei ansvarleg for både general-domain og i-domeneomsetjinga. Deretter treng vi fram den prøvde modellen som er oversikt av den opprinnelige hele modellen med kunnskapsiltering. Sist vi utvida modellen til den opprinnelige storleiken og finn opp dei lagte parametra for omsetjinga i domenet. Vi oppførte eksperimenter på ulike språkopar og domene, og resultatene viser at metoden vårt kan oppnå signifikante forbedringar sammenlignet med fleire sterke baselinjer.

Abstract

Adaptacja domeny jest szeroko stosowana w praktycznych zastosowaniach neuronowego tłumaczenia maszynowego, którego celem jest osiągnięcie dobrej wydajności zarówno w domenie ogólnej, jak i w domenie. Jednak istniejące metody adaptacji domen zwykle cierpią z powodu katastrofalnego zapomnienia, dużej dywergencji domen i eksplozji modelu. Aby rozwiązać te trzy problemy, proponujemy metodę "dzielić i podbić", która opiera się na znaczeniu neuronów lub parametrów dla modelu translacyjnego. W tej metodzie najpierw przycinamy model i zachowujemy tylko ważne neurony lub parametry, czyniąc je odpowiedzialnymi zarówno za translację w domenie ogólnej, jak i w domenie. Następnie dalej szkolimy przycięty model nadzorowany przez oryginalny cały model z destylacją wiedzy. Na koniec rozszerzamy model do oryginalnego rozmiaru i dostosowujemy dodane parametry do tłumaczenia w domenie. Przeprowadziliśmy eksperymenty na różnych parach językowych i domenach i wyniki pokazują, że nasza metoda może osiągnąć znaczące ulepszenia w porównaniu z kilkoma silnymi liniami bazowymi.

Abstract

A Adaptação de Domínio é amplamente utilizada em aplicações práticas de tradução automática neural, que visa obter um bom desempenho tanto em dados de domínio geral quanto em dados de domínio. No entanto, os métodos existentes para adaptação de domínio geralmente sofrem de esquecimento catastrófico, grande divergência de domínio e explosão de modelos. Para resolver esses três problemas, propomos um método de “dividir e conquistar” que se baseia na importância dos neurônios ou parâmetros para o modelo de tradução. Nesse método, primeiro podamos o modelo e mantemos apenas os neurônios ou parâmetros importantes, tornando-os responsáveis pela tradução de domínio geral e de domínio. Em seguida, treinamos ainda mais o modelo podado supervisionado pelo modelo inteiro original com destilação de conhecimento. Por último, expandimos o modelo para o tamanho original e ajustamos os parâmetros adicionados para a tradução no domínio. Conduzimos experimentos em diferentes pares de idiomas e domínios e os resultados mostram que nosso método pode alcançar melhorias significativas em comparação com várias linhas de base fortes.

Abstract

Adaptarea domeniului este utilizată pe scară largă în aplicațiile practice ale traducerii automate neurale, care vizează obținerea unei performanțe bune atât pe domeniul general, cât și pe datele din domeniu. Cu toate acestea, metodele existente pentru adaptarea domeniilor suferă de obicei de uitare catastrofală, divergențe mari de domenii și explozie de model. Pentru a aborda aceste trei probleme, propunem o metodă de "divizare și cucerire" care se bazează pe importanța neuronilor sau parametrilor pentru modelul de traducere. În această metodă, tăiem mai întâi modelul și păstrăm doar neuronii sau parametrii importanți, făcându-i responsabili atât pentru traducerea domeniului general, cât și în domeniu. Apoi vom instrui în continuare modelul tăiat supravegheat de modelul original întreg cu distilarea cunoștințelor. În ultimul rând extindem modelul la dimensiunea originală și reglăm parametrii adăugați pentru traducerea în domeniu. Am efectuat experimente pe diferite perechi de limbi și domenii, iar rezultatele arată că metoda noastră poate obține îmbunătățiri semnificative comparativ cu mai multe linii de bază puternice.

Abstract

Адаптация домена широко используется в практических приложениях нейронного машинного перевода, целью которого является достижение хорошей производительности как в общем домене, так и внутридоменных данных. Однако существующие методы адаптации домена обычно страдают от катастрофического забывания, большой дивергенции домена и взрыва модели. Для решения этих трех задач мы предлагаем метод «разделяй и властвуй», который основан на важности нейронов или параметров для модели трансляции. В этом методе мы сначала обрезаем модель и сохраняем только важные нейроны или параметры, делая их ответственными как за трансляцию в общей области, так и в области. Затем мы дополнительно обучаем обрезанную модель под наблюдением оригинальной целой модели с дистилляцией знаний. В последнем случае мы расширяем модель до исходного размера и тонко настраиваем добавленные параметры для перевода в домене. Мы провели эксперименты на разных языковых парах и доменах, и результаты показывают, что наш метод может достичь значительных улучшений по сравнению с несколькими сильными базовыми линиями.

Abstract

ඩොමේන් අනුමාණය ප්‍රයෝජනය කරන්න ප්‍රයෝජනයෙන් ප්‍රයෝජනය කරන්න ප්‍රයෝජනයෙන් ප්‍රයෝජනය වෙනුවෙන් ප්‍රයෝජනය ක නමුත්, විශාල විධානය සමාන්‍ය විධානය සඳහා සාමාන්‍ය විධානය අමතක වෙලා තියෙනවා, ලොකු ඩොමේන් විශාල වි මේ ප්‍රශ්න තුන්දෙන්න විදිහට, අපි ප්‍රශ්නයක් කරනවා 'වෙනස් කරනවා සහ සම්බන්ධ කරනවා' කිරීමේ විදිහට, ඒක න්‍යුරෝන් මේ විදියට, අපි මුලින්ම මොඩල් එක ප්‍රතිචාර කරනවා ඒ වගේම වැදගත් න්‍යූරෝන්ස් නැත්ත ප්‍රතිචාරයක් තියාගන්න, ඊට පස්සේ අපි තව දුරටත් ප්‍රධානය කරලා තියෙන්නේ මූලික මොඩේල් එක්ක මුලික මොඩේල් එක්ක දැනගන්න අන්තිමට අපි මොඩල් විස්තර කරලා ප්‍රමාණය ප්‍රමාණය සහ ප්‍රමාණය සඳහා සම්පූර්ණ ප්‍රමාණය සඳහා ප්‍රමාණය අපි වෙනස් භාෂාවක් සහ ඩෝමේන් වල ප්‍රශ්නයක් කරලා තියෙනවා ඒ වගේම ප්‍රශ්නයක් පෙන්වනවා අපේ විධානයට විශේෂ

Abstract

Domenska prilagoditev se pogosto uporablja v praktičnih aplikacijah nevronskega strojnega prevajanja, katerega cilj je doseči dobro delovanje tako na splošnih domenskih kot domenskih podatkih. Vendar pa obstoječe metode prilagajanja domenskih področij običajno trpijo zaradi katastrofalnega pozabljanja, velike razlike domenskih področij in eksplozije modela. Za reševanje teh treh problemov predlagamo metodo "deli in prevzemi", ki temelji na pomenu nevronov ali parametrov za model prevajanja. Pri tej metodi najprej obrezemo model in ohranimo le pomembne nevrone ali parametre, zaradi česar so odgovorni tako za splošno domeno kot za domensko prevajanje. Nato nadaljujemo usposabljanje obrezanega modela, ki ga nadzoruje izvirni celoten model z destilacijo znanja. Nazadnje razširimo model na izvirno velikost in natančno nastavimo dodane parametre za prevod v domeni. Izvedli smo eksperimente na različnih jezikovnih parih in domenah, rezultati pa kažejo, da lahko naša metoda doseže znatne izboljšave v primerjavi z več močnimi osnovnimi linijami.

Abstract

Adaptation Domain waxaa si badan looga isticmaalaa codsiyada caadiga ah oo lagu turjumayo tarjumaadka maskinada, kaas oo loogu talogalay inuu sameeyo wax wanaagsan oo ku saabsan domain iyo macluumaadka gudaha. However, the existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. Si aan u qabsado sadexdan dhibaatooyin, waxaynu soo jeedinnaa qaab ku saabsan noocyada turjumaadda oo muhiimka ah neyronooyinka ama parameters. Midabkan marka ugu horeysa waxaynu sameynaa midowga, waxaynu xajinnaa neuroyinka muhiimka ah ama parameteriyada, waxaana ka dhigaynaa kuwo ka mas’uul ah turjumaadda guud iyo gudaha. Markaas waxaynu ku tababarinnaa modelka caqliga leh oo asalka ah oo la ilaaliyey qaabka aqoonta. Marka ugu dambaysta waxaan u fidinnay qaababka asalka ah iyo si fiican loona qoray parameters lagu daro turjumista gudaha. Imtixaano waxaan ku sameynay labo kala duduwan oo af kala duduwan iyo meelo ay ka muuqato in qaabkeenkeenu uu gaadhi karo hagaajino aad u weyn, iyadoo la barbarbaran karo koorasyo xoog badan.

Abstract

Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. Megjithatë, metodat ekzistuese për përshtatjen e fushës zakonisht vuajnë nga harrimi katastrofik, dallimi i madh i fushës dhe shpërthimi i modelit. Për të trajtuar këto tre probleme, ne propozojmë një metodë të 'ndarjes dhe pushtimit' e cila bazohet në rëndësinë e neuroneve apo parametrave për modelin e përkthimit. Në këtë metodë, ne së pari e shfrytëzojmë model in dhe vetëm mbajmë neuronet apo parametrat e rëndësishëm, duke i bërë ata përgjegjës për përkthimin e përgjithshëm-domenit dhe në domeni. Pastaj e trajnojmë modelin e pjekur të mbikqyrur nga modeli origjinal i tërë me distillacion njohuri. Last we expand the model to the original size and fine-tune the added parameters for the in-domain translation. We conducted experiments on different language pairs and domains and the results show that our method can achieve significant improvements compared with several strong baselines.

Abstract

Domena adaptacija se široko koristi u praktičnim aplikacijama prevoda neuralnih strojeva, koja se cilja ostvariti dobru funkciju na općem domenu i podacima u domenu. Međutim, postojeće metode za adaptaciju domena obično pate od katastrofalnih zaboravljanja, velikih razlika domena i eksplozije modela. Da bi riješili ove tri problema, predlažemo metodu "podijeliti i osvajati", koja je temeljena na važnosti neurona ili parametara za model prevoda. U ovoj metodi, prvi put prerezamo model i zadržavamo važne neurone ili parametre, čineći ih odgovornim za prevod generala domena i domena. Onda ćemo dalje trenirati obrezan model koji je nadzirao originalni model sa destilacijom znanja. Posljednje smo proširili model na originalnu veličinu i finalizirali dodatne parametre za prevod u domenu. Provodili smo eksperimente o različitim jezičkim parovima i domenama i rezultati pokazuju da naš metod može ostvariti značajne poboljšanje u usporedbi sa nekoliko jakih osnovnih linija.

Abstract

Domänanpassning används ofta i praktiska tillämpningar av neural maskinöversättning, vilket syftar till att uppnå bra prestanda på både allmän domän och in-domain data. Men de befintliga metoderna för domänanpassning lider vanligtvis av katastrofal glömska, stora domänskillnader och modellexplosion. För att ta itu med dessa tre problem föreslår vi en metod för att "dela och erövra" som bygger på betydelsen av neuroner eller parametrar för översättningsmodellen. I den här metoden beskärnar vi först modellen och behåller bara viktiga neuroner eller parametrar, vilket gör dem ansvariga för både allmän och in-domain översättning. Sedan tränar vi vidare den beskurna modellen övervakad av den ursprungliga hela modellen med kunskapsdestillation. Sist utökar vi modellen till den ursprungliga storleken och finjusterar de tillagda parametrarna för domänöversättningen. Vi genomförde experiment på olika språkpar och domäner och resultaten visar att vår metod kan uppnå betydande förbättringar jämfört med flera starka baslinjer.

Abstract

Adaptation Domain inatumika kwa kiasi kikubwa katika matumizi ya utafsiri wa mashine ya kijamii, ambayo ina lengo la kupata ufanisi mzuri katika maeneo ya kijamii na taarifa za ndani. Hata hivyo, mbinu zilizopo kwa ajili ya kubadilishana ndani mara nyingi hupata kutokana na kusahau maafa, utofauti mkubwa wa ndani, na mlipuko wa model. To address these three problems, we propose a method of 'divide and conquer' which is based on the importance of neurons or parameters for the translation model. Katika njia hii, kwa mara ya kwanza tunaondoa mifano na tunaweka tu neuro muhimu au parameteri, na kuwafanya wawe wajibu wa utafsiri wa ndani na ndani. Kisha tunamfundisha mfano mzuri ulioangaliwa na mtindo mzima wa asili kwa utofauti wa maarifa. Mwisho tulipanua mtindo wa kiwango cha asili na vizuri vizuri vilivyoongezwa kwa tafsiri ya ndani. Tulifanya majaribio katika viwili tofauti na maeneo ya lugha na matokeo yanaonyesha kuwa njia yetu inaweza kupata maboresho makubwa ukilinganishwa na mistari kadhaa yenye nguvu.

Abstract

Domain Adaptation is widely used in practical applications of the neural machine translation, which aims to achieve good performance both domain and domain data. However, the existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. இந்த மூன்று பிரச்சனைகளை விளக்க, மொழிபெயர்ப்பு மாதிரியின் முக்கியமான முறைமையை பிரித்து வெற்றி முறைமையை நாம் பரிந் இந்த முறைமையில், முதலில் நாம் மாதிரியை அழித்து முக்கியமான நரம்புகள் அல்லது அளபுருகள் மட்டும் வைத்துக் கொள்கிறோம், பொது க பின்னர் நாம் முதல் முழு மாதிரியால் பாதுகாப்பாக்கப்பட்ட மாதிரியை மேலும் பயிற்சி செய்வோம் அறிவு கடைசியாக நாம் மாதிரியை ஆரம்ப அளவுக்கு விரிவாக்குகிறோம் மற்றும் சரியான கூட்டிய அளபுருக்களை டோமைன் மொழ நாங்கள் வேறு மொழி ஜோடி மற்றும் களங்கள் மீது சோதனைகளை செய்தோம் மற்றும் முடிவுகள் காண்பிக்கிறது நம் முறைமையில் பல வலிமை அட

Abstract

domain Ýöne, domen adaptasyonuň bar yöntemleri adatça boýunça ýatdan çykarmakdan, uly domen çykarmakdan, we modal patlamakdan çykýar. Bu üç mesele çözmek üçin 'bölmek we ýeňmek' yöntemini teklip edip, näронlar ýa-da terjime modeliniň wajyplygyna daýanýar. Bu yöntemde, ilkinji gezek modelini kesip, diňe önemli nöron veya parametreleri tutup, hem umumiy domeny hem de domeny terjimesi üçin sorumlu ediyoruz. Soňra özümiz ýüze süýtgeli nusgyny özüniň bütin nusgynyň üstünde gözleýän nusgyny öwrendirdik. Soňki modelini orijinal ölçüne ekledik ve domein terjimesi üçin eklendik parameterleri şekillendirdik. Biz dürli dil çift we sahalarda deňleşen deneyler etdik we netijelerimiz biziň metodamyzyň birnäçe güýçli üýtgeýçli çyzgymlar bilen gurlap biljekdigini görkezilýäris.

Abstract

Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. لیکن، ڈومین تعمیر کے مطابق موجود طریقے معمولاً مصیبت بھول جانے والی، بڑی ڈومین اختلاف اور موڈل انفجار سے پڑتے ہیں. یہ تین مسئلہ کا جواب دینے کے لئے ہم ایک طریقہ پیش کریں گے کہ 'تقسیم کریں اور شکست کریں' جو نیرونوں یا پارامیٹروں کے اہم مطابق ہے ترجمہ موڈل کے لئے۔ اس طریقے میں ہم پہلی بار موڈل کو دھوپ لیتے ہیں اور صرف اہم نیرونوں یا پارامیٹروں کو نگه رکھتے ہیں، ان دونوں کو عمومی ڈومین اور ڈومین کی ترجمہ کے لئے مسئولیت بناتے ہیں. اس کے بعد ہم اس پرینڈ مدل کی تعلیم دیتے ہیں جو اصل مدل کے ذریعہ تمام مدل کی نظارت کی جاتی ہے آخر ہم نے مدل کو اصلی سائز تک پھیلایا اور ڈومین میں ترجمہ کے لئے اضافہ پارامیٹر کو اضافہ کردیا۔ ہم نے مختلف زبان جوڑوں اور ڈومین پر آزمائش کی اور نتیجے دکھاتے ہیں کہ ہمارا طریقہ بہت سی قوت بنسس لین کے مقابلہ میں بہت اضافہ حاصل کر سکتا ہے۔

Abstract

Name Lekin, domen tahrirlash uchun mavjud usullar odatda o'zgarishni o'zgartirish, katta domen ajratish, va model eksplosiyatidan qo'shiladi. Bu uchta muammolarni boshqarish uchun, tarjima modelning muhim asosida "ajratish va erob" usulini tahrirlash mumkin. Bu usulda, biz modelni birinchi marta boshlamiz va faqat muhim neyron yoki parametrlarni davom etamiz, ularni umumiy domen va domen tarjima qilish uchun javob beramiz. Keyin biz asl asl modeli bilan boshqaruvchi boshqa modelni o'rganamiz. @ info: whatsthis Biz boshqa tillar va domen bilan jarayonlarni bajardik va natijalarimiz bir necha xoog asboblar bilan bir qanchalik darajada o'zgarishga ega bo'lishi mumkin.

Abstract

Phục chỉnh miền được sử dụng rộng rãi trong các ứng dụng thiết thực của dịch chuyển máy thần kinh, nhằm đạt đến hiệu quả tốt cả về lĩnh vực chung và nội địa. Tuy nhiên, phương pháp thích nghi miền thường phải chịu đựng sự quên lãng thảm khốc, phân biệt lãnh thổ lớn, và vụ nổ mô hình. Để giải quyết ba vấn đề này, chúng tôi đề xuất một phương pháp chia rẽ và chinh phạt dựa trên tầm quan trọng của các thần kinh hay các thông số cho mô hình dịch. Trong phương pháp này, chúng ta sẽ cắt giảm mô hình và chỉ duy nhất giữ các nơ-ron hay các tham số quan trọng, khiến chúng chịu trách nhiệm cho cả dịch vụ toàn phần và trong miền. Sau đó chúng ta luyện thêm các mô hình bị cắt tỉa được giám sát bởi toàn bộ mẫu gốc với việc chưng cất kiến thức. Cuối cùng chúng tôi mở rộng mô hình thành kích cỡ gốc và chỉnh lại các tham số thêm cho dịch vụ trong miền. Chúng tôi đã thực hiện thí nghiệm trên các cặp ngôn ngữ và miền và kết quả cho thấy phương pháp của chúng tôi có thể cải tiến đáng kể so với nhiều nền tảng vững chắc.

Abstract

域适配广施于神经机器翻译之实,指成数于领内。然见领应法常遭灾难性忘,大领分形爆爆。为此三者,分而治之道,盖神经元参数之重译也。先剪模形,存其神经元参数,使转移域内。然后习蒸馏原始,以监其形。最后,我们将模形扩到原始大小,并微调为域内转换添加的参数。异言实验域,结果表明比诸强基线,其道可见。

Anthology ID:: 2021.naacl-main.308
Volume:: Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies
Month:: June
Year:: 2021
Address:: Online
Venue:: NAACL
SIG:
Publisher:: Association for Computational Linguistics
Note:
Pages:: 3942–3952
Language:
URL:: https://aclanthology.org/2021.naacl-main.308
DOI:: 10.18653/v1/2021.naacl-main.308
Bibkey:
Cite (ACL):: Shuhao Gu, Yang Feng, and Wanying Xie. 2021. Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 3942–3952, Online. Association for Computational Linguistics.
Cite (Informal):: Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation (Gu et al., NAACL 2021)
Copy Citation:
PDF:: https://aclanthology.org/2021.naacl-main.308.pdf
Code: ictnlp/PTE-NMT
Terminologies:

PDF Cite Search Code Translate