Domain Adaptation of Neural Machine Translation by Lexicon Induction

Junjie Hu; Mengzhou Xia; Graham Neubig; Jaime G. Carbonell

doi:10.18653/v1/P19-1286

Domain Adaptation of Neural Machine Translation by Lexicon Induction ዶሜን አቀማመጥ @ label Validity Name Name Name 盖词典归之神经机器翻译域也

Junjie Hu, Mengzhou Xia, Graham Neubig, Jaime Carbonell

Abstract

It has been previously noted that neural machine translation (NMT) is very sensitive to domain shift. In this paper, we argue that this is a dual effect of the highly lexicalized nature of NMT, resulting in failure for sentences with large numbers of unknown words, and lack of supervision for domain-specific words. To remedy this problem, we propose an unsupervised adaptation method which fine-tunes a pre-trained out-of-domain NMT model using a pseudo-in-domain corpus. Specifically, we perform lexicon induction to extract an in-domain lexicon, and construct a pseudo-parallel in-domain corpus by performing word-for-word back-translation of monolingual in-domain target sentences. In five domains over twenty pairwise adaptation settings and two model architectures, our method achieves consistent improvements without using any in-domain parallel sentences, improving up to 14 BLEU over unadapted models, and up to 2 BLEU over strong back-translation baselines.

Abstract

Dit is voorheen opgemerk dat neurale masjien vertaling (NMT) baie sensitief is na domein verskuif. In hierdie papier, ons argumenteer dat hierdie is 'n tweede effek van die hoë lexikaliseerde natuur van NMT, wat resulteer in mislukking vir setinge met groot getalle onbekende woorde en mislukking van supervisie vir domein-spesifieke woorde. Om hierdie probleem te herstel, voorstel ons 'n onverondersteunde adaptasie metode wat fyn-tunneer 'n voor-ondersteunde uit-domein NMT model gebruik 'n pseudo-in-domein corpus. Spesifieke, ons uitvoer leksikone induksie om 'n in-domein leksikon te uitpak en 'n pseudo-parallele in-domein korpus te konstrukteer deur word-for-word terug-vertaling van monolinge in-domein-teiken te doen. In vyf domeine oor twintig paar aanpassingsinstellings en twee modele arkitektuur, ons metode bereik konsistente verbeteringe sonder om enige in-domein parallele setinge te gebruik, verbetering tot 14 BLES oor ongedefinieerde modele en tot 2 BLES oor sterke terugvertalingsbasisline.

Abstract

ከቀድሞ ጀምሮ የናውሬል መሣሪያን ትርጉም (NMT) ለdomain shift እጅግ አስተዋይ ነው፡፡ በዚህ ፕሮግራም፣ ይህ የNMT ጥያቄ አካባቢ ውጤት ነው፡፡ ይህንን ጉዳይ ለመፈጸም፣ የማይጠበቀው አካባቢ ማድረግ እናስገልጋለን፡፡ በተለያይነት፣ ለሌክሲኮን የዶሜን ሊክሲን ለመውጣት እናደርጋለን፣ እናም በዶሜን አካላት እና ለቃላት መልስ-ትርጓሜ እናደርጋለን፡፡ በሀያ ሁለት ዓይነቶች በላይ በአምስት አካባቢ አካባቢዎች እና በሁለት ሞዴል አካባቢዎች ውስጥ ሥርዓታችን በአካባቢው አካባቢ ክፍሎች ሳይጠቀም አካባቢ አካባቢዎች ላይ 14 ቢሊዩን እና በኃይል ጀርባ-ትርጉም መቀመጫዎች ላይ 2 ቢሉዩን በመጠቀም ይደረጋል፡፡

Abstract

لقد لوحظ سابقًا أن الترجمة الآلية العصبية (NMT) حساسة جدًا لتحول المجال. في هذه الورقة ، نجادل في أن هذا هو تأثير مزدوج للطبيعة المعجمية للغاية لـ NMT ، مما يؤدي إلى فشل الجمل التي تحتوي على عدد كبير من الكلمات غير المعروفة ، ونقص الإشراف على الكلمات الخاصة بمجال معين. لمعالجة هذه المشكلة ، نقترح طريقة تكيف غير خاضعة للإشراف تعمل على ضبط نموذج NMT خارج المجال مدرب مسبقًا باستخدام مجموعة زائفة في المجال. على وجه التحديد ، نقوم بإجراء تحريض المعجم لاستخراج معجم في المجال ، وإنشاء مجموعة زائفة متوازية في المجال من خلال إجراء ترجمة رجعية كلمة بكلمة للجمل المستهدفة أحادية اللغة في المجال. في خمسة مجالات أكثر من عشرين من إعدادات التكيف الزوجي وبنيتين نموذجيتين ، تحقق طريقتنا تحسينات متسقة دون استخدام أي جمل متوازية في المجال ، وتحسين ما يصل إلى 14 BLEU على النماذج غير المعدلة ، وما يصل إلى 2 BLEU على خطوط أساس قوية للترجمة الخلفية.

Abstract

Daha öncə nöral maşın çevirisi (NMT) domain dəyişikliklərinə çox hassaslıdır. Bu kağızda, biz mübahisə edirik ki, bu NMT'nin yüksək leksikləndirilmiş təbiətinin ikiqat etkisidir, bu da çox bilinməyən sözlər olan cümlələrin başarısızlığına və domain-specific sözlərinin gözləməsi yoxdur. Bu problemi düzəltmək üçün, pseudo-in-domain corpus vasitəsilə öyrənməmiş bir uyğunlaşdırma metodumu təklif edirik. Özellikle, biz bir domenin leksikonu çıxartmaq üçün leksikon induksyonu işlədirik və domenin korpusında pseudo-paralel bir pseudo-paralel cümləsini dəyişdiririk. İkinci cüt uyğunlaşdırma ayarları və iki modeli arhitekturları arasında beş sahədə, bizim metodumuz hər hansı bir domena paralel sözləri istifadə etmədən, 14 BLEU-ə uyğunlaşdırılmamış modellərdən və 2 BLEU-ə qədər möhkəm təkrar çevirilmiş səhifələrdən daha yaxşılaşır.

Abstract

Преди беше отбелязано, че невронният машинен превод (НМТ) е много чувствителен към промяна на домейна. В тази статия твърдим, че това е двоен ефект на силно лексикализирания характер на НМТ, което води до неуспех при изречения с голям брой неизвестни думи и липса на надзор за специфични за домейна думи думи. За да се отстрани този проблем, предлагаме метод за адаптация без надзор, който фино настройва предварително обучен вън-домейн модел на НМТ, използвайки псевдо-в-домейн корпус. По-конкретно, ние извършваме индукция на лексикон, за да извлечем в домейн лексикон, и конструираме псевдо-паралелен в домейн корпус чрез извършване на обратен превод дума по дума на едноезични в домейн целеви изречения. В пет области над двадесет настройки за адаптация по двойки и две архитектури на модела, нашият метод постига последователни подобрения, без да използва паралелни изречения в домейна, подобрявайки до 14 спрямо непригодените модели и до 2 над силните базови линии за обратен превод.

Abstract

পূর্বে এটি উল্লেখ করা হয়েছে যে নিউরেল মেশিন অনুবাদ (এনএমটি) ডোমেইন পরিবর্তনের জন্য অত্যন্ত সংবেদনশীল। এই পত্রিকায় আমরা যুক্তি দিচ্ছি যে এনএমটির বেশী লেক্সিকালের প্রকৃতির দুই প্রভাব, যার ফলে বিশাল অজানা শব্দ দিয়ে ব্যর্থ হয়েছে এবং ডোমেইন-নির্দি এই সমস্যার সমাধানের জন্য আমরা একটি অরক্ষিত আপপেটশন পদ্ধতি প্রস্তাব করি যেটি পূর্ব-প্রশিক্ষিত ডোমেইনের NMT মডেল ব্যবহার করে একটি পিসুডো ইন-ডোমেইন কোর্পাস ব বিশেষ করে, আমরা ডোমেইনের লেক্সিকোন লেক্সিকোর প্রযুক্তি চালাই এবং ডোমেইনের টার্গেটের শাস্তি প্রদর্শনের মাধ্যমে একটি পেসুডো প্যারালেল তৈরি করি। পাঁচ ডোমেনের বেশি জুড়ে দুই মডেলের প্রতিষ্ঠানগুলোতে আমাদের পদ্ধতি সাধারণ উন্নতি পেয়ে যায়, কোনো প্যারালেল ব্যবহার না করে আমাদের মাধ্যমে সাধারণ উন্নতি পেয়ে যায়, যার ফলে অক্ষরিত ম

Abstract

Prije je primjećeno da je prevod neuralne mašine (NMT) veoma osjetljiv na smjenu domena. U ovom papiru tvrdimo da je to dvostruki učinak visoko leksikaliziranog prirode NMT-a, što je rezultiralo neuspjeh rečenica sa velikim brojem nepoznatih riječi i nedostatak nadzora za specifične riječi domena. Da bi se riješili ovaj problem, predlažemo neodređenu metodu adaptacije koja ispravlja predobučeni model NMT iz domena koristeći pseudo-in-domain korpus. Posebno, izvodimo leksikonsku indukciju da izvučemo leksikon u domenu, i izgradimo pseudo-paralelnu u domenu korpusu izvršavajući riječ za riječ povratak prevoda monojezičkih ciljnih rečenica u domenu. U pet domena preko dvadeset postavljanja adaptacije i dvije modelne arhitekture, naša metoda postiže konsekvente poboljšanje bez korištenja bilo kakvih paralelnih rečenica u domenu, poboljšanja do 14 BLEU-a preko nepravilnih modela, i do 2 BLEU-a preko jakih osnovnih linija prijenosnog prevoda.

Abstract

S'ha observat anteriorment que la traducció neuromàtica (NMT) és molt sensible al canvi de domini. En aquest article, argumentem que aquest és un efecte doble de la naturalesa altament lexicalitzada de la NMT, que resulta en fracàs per frases amb gran quantitat de paraules desconeguts, i falta de supervisió per paraules específices per domini. Per resoldre aquest problem a, proposem un mètode d'adaptació sense supervisió que ajuste un model NMT fora de domini pré-entrenat fent servir un corpus pseudo-en-domini. Concretament, fem una inducció de lexicòns per extrair un lexicòn en domini, i construïm un corpus pseudoparal·lel en domini fent una traducció de paraula a paraula de frases d'objectiu monolingües en domini. En cinc dominis més de vint configuracions d'adaptació en parell i dues arquitectures models, el nostre mètode aconsegueix millores consistents sense utilitzar cap frase parallela en domini, millorant fins a 14 BLEU sobre models no adaptats, i fins a 2 BLEU sobre línies de base fortes de traducció posterior.

Abstract

Již dříve bylo poznamenáno, že neuronový strojový překlad (NMT) je velmi citlivý na posun domény. V tomto článku argumentujeme, že jde o dvojí efekt vysoce lexikalizované povahy NMT, což vede k selhání vět s velkým počtem neznámých slov a k nedostatku dohledu nad doménově specifickými slovy. Pro řešení tohoto problému navrhujeme metodu bez dohledu, která jemně ladí předškolený mimo doménu NMT model pomocí pseudo-in-domény korpusu. Konkrétně provádíme lexikonovou indukci k extrakci in-doménového lexikonu a vytvoříme pseudo-paralelní korpus v-doméně slovem zpětným překladem monojazyčných in-doménových cílových vět. V pěti doménách více než dvacet párových adaptačních nastavení a dvou modelových architektur dosahuje naše metoda konzistentních zlepšení bez použití paralelních vět v doméně, zlepšuje až 14 BLEU nad nepřizpůsobenými modely a až 2 BLEU nad silnými zpětnými překlady.

Abstract

Det er tidligere blevet bemærket, at neural machine translation (NMT) er meget følsom over for domæneskift. I denne artikel argumenterer vi for, at dette er en dobbelt effekt af NMT's meget leksikaliserede natur, hvilket resulterer i fiasko for sætninger med stort antal ukendte ord, og manglende overvågning af domænespecifikke ord. For at afhjælpe dette problem foreslår vi en uautoriseret tilpasningsmetode, der finjusterer en forudtrænet NMT-model uden for domænet ved hjælp af en pseudo-in-domæne korpus. Specielt udfører vi lexikoninduktion for at udtrække et in-domæne leksikon, og konstruere en pseudo-parallel in-domæne korpus ved at udføre ord-for-ord-back-oversættelse af ensprogede in-domæne målsætninger. På fem domæner over tyve parvise tilpasningsindstillinger og to modelarkitekturer opnår vores metode konsekvente forbedringer uden at bruge parallelle sætninger i domænet, hvilket forbedrer op til 14 BLEU i forhold til uadapterede modeller og op til 2 BLEU i forhold til stærke back-translation baselines.

Abstract

Es wurde bereits festgestellt, dass neuronale maschinelle Übersetzung (NMT) sehr empfindlich auf Domänenverschiebungen reagiert. In diesem Beitrag argumentieren wir, dass dies ein doppelter Effekt der stark lexikalisierten Natur von NMT ist, was zu Versagen von Sätzen mit einer großen Anzahl unbekannter Wörter und fehlender Überwachung für domänenspezifische Wörter führt. Um dieses Problem zu beheben, schlagen wir eine unüberwachte Anpassungsmethode vor, die ein vortrainiertes Out-of-Domain NMT-Modell mit einem Pseudo-in-Domain-Korpus verfeinert. Insbesondere führen wir Lexikon-Induktion durch, um ein In-Domain-Lexikon zu extrahieren, und konstruieren einen pseudo-parallelen In-Domain-Korpus, indem wir Wort-für-Wort-Rückübersetzung von einsprachigen In-Domain-Zielsätzen durchführen. In fünf Domänen über zwanzig paarweise Anpassungseinstellungen und zwei Modellarchitekturen erreicht unsere Methode konsistente Verbesserungen ohne Verwendung von parallelen In-Domain-Sätzen. Sie verbessert bis zu 14 BLEU gegenüber nicht angepassten Modellen und bis zu 2 BLEU über starke Rückübersetzungsbaselines.

Abstract

Έχει προηγουμένως σημειωθεί ότι η νευρωνική μηχανική μετάφραση (NMT) είναι πολύ ευαίσθητη στη μετατόπιση τομέα. Στην παρούσα εργασία, υποστηρίζουμε ότι αυτό είναι μια διπλή επίδραση της ιδιαίτερα λεξιλογικής φύσης του NMT, με αποτέλεσμα την αποτυχία των προτάσεων με μεγάλο αριθμό άγνωστων λέξεων, και την έλλειψη εποπτείας για συγκεκριμένες λέξεις. Για να αντιμετωπιστεί αυτό το πρόβλημα, προτείνουμε μια μέθοδο προσαρμογής χωρίς επίβλεψη η οποία συντονίζει ένα προ-εκπαιδευμένο μοντέλο εκτός πεδίου χρησιμοποιώντας ένα ψευδο-εντός-πεδίου σώμα. Συγκεκριμένα, εκτελούμε επαγωγή λεξικού για να εξάγουμε ένα λεξικό εντός του τομέα και κατασκευάζουμε ένα ψευδο-παράλληλο σώμα εντός του τομέα με την εκτέλεση λέξης-προς-λέξης αντίστροφης μετάφρασης μονογλωσσικών προτάσεων στόχων εντός του τομέα. Σε πέντε τομείς πάνω από είκοσι ρυθμίσεις προσαρμογής ζεύγους και δύο αρχιτεκτονικές μοντέλων, η μέθοδος μας επιτυγχάνει συνεπείς βελτιώσεις χωρίς να χρησιμοποιεί παράλληλες προτάσεις εντός του τομέα, βελτιώνοντας έως 14 σε σχέση με μη προσαρμοσμένα μοντέλα και έως 2 σε ισχυρές γραμμές βάσης αντίστροφης μετάφρασης.

Abstract

Se ha observado anteriormente que la traducción automática neuronal (NMT) es muy sensible al cambio de dominio. En este artículo, argumentamos que este es un efecto doble de la naturaleza altamente lexicalizada de la NMT, lo que resulta en el fracaso de oraciones con un gran número de palabras desconocidas y la falta de supervisión para palabras específicas de dominio. Para remediar este problema, proponemos un método de adaptación no supervisado que afina un modelo NMT fuera del dominio previamente entrenado utilizando un corpus pseudo-en-dominio. Específicamente, realizamos inducción de léxico para extraer un léxico dentro del dominio y construir un corpus en el dominio pseudoparalelo realizando una traducción inversa palabra por palabra de oraciones objetivo monolingües dentro del dominio. En cinco dominios, más de veinte configuraciones de adaptación por pares y dos arquitecturas de modelos, nuestro método logra mejoras consistentes sin usar oraciones paralelas dentro del dominio, mejorando hasta 14 BLEU en comparación con modelos no adaptados y hasta 2 BLEU en líneas de base sólidas de retrotraducción.

Abstract

Eelnevalt on märgitud, et neuraalne masintõlk (NMT) on väga tundlik domeeni nihke suhtes. Käesolevas dokumendis väidame, et tegemist on NMT väga leksikaliseeritud olemusega kahekordse mõjuga, mille tulemuseks on suure hulga tundmatute sõnadega lausete ebaõnnestumine ja valdkonnaspetsiifiliste sõnade järelevalve puudumine. Selle probleemi lahendamiseks pakume välja järelevalveta kohanemismeetodi, mis täpsustab eelnevalt väljaõpetatud domeenivälise NMT mudeli pseudodomeenilise korpuse abil. Konkreetselt teostame leksikoni induktsiooni domeenisisese leksikoni ekstraheerimiseks ja konstrueerime pseudoparalleelse domeenisisese korpuse, teostades ühekeelsete domeenisiseste sihtlausete sõna-sõnalt tagasitõlkimist. Viies valdkonnas üle kahekümne paari kohandamise seadistuse ja kahe mudeli arhitektuuri saavutatakse meie meetod järjepidevaid täiustusi ilma domeenisiseste paralleelsete lausete kasutamata, parandades kuni 14 BLEU võrreldes kohandamata mudelitega ja kuni 2 BLEU tugevate tagantõlke lähtejoontega.

Abstract

قبلاً مشخص شده که ترجمه ماشین عصبی (NMT) به تغییر دامنی بسیار حساس است. در این کاغذ، بحث می‌کنیم که این یک اثر دوگانه از طبیعت بالا زبان‌شناسی NMT است، که به نتیجه شکست برای جمله‌ها با تعداد زیادی از کلمات ناشناخته، و ناتوانی نظارت برای کلمات مخصوص دامنه است. برای اصلاح این مشکل، ما پیشنهاد می‌کنیم یک روش اصلاح غیرقابل استفاده، که یک مدل NMT پیش آموزش داده شده را با استفاده از کورپوس pseudo-in-domain تنظیم می‌کند. به طور خاصی، ما تحریک لکسیون را انجام می دهیم تا یک لکسیون در دامنی خارج کنیم، و یک لکسیون در دامنی پارالکوس در دامنی ساختیم، با انجام ترجمه کلمه برای کلمه عقب یک زبان در دامنی کلمه هدف را ساختیم. در پنج دامنه بیش از ۲۰ تنظیم تغییرات و دو معماری مدل، روش ما بدون استفاده از جمله‌های پارالی در دامنه، بهتر به ۱۴ BLEU بر مدل‌های غیرقابل تغییر داده می‌شود، و تا ۲ BLEU بر اساس خط‌های پایین‌ترجمه قوی می‌شود.

Abstract

Aiemmin on todettu, että neurokonekäännös (NMT) on erittäin herkkä verkkotunnuksen muutokselle. Tässä artikkelissa väitämme, että tämä on NMT:n erittäin leksikalisoituneen luonteen kaksinkertainen vaikutus, joka johtaa epäonnistumiseen lauseissa, joissa on suuri määrä tuntemattomia sanoja, ja valvonnan puute toimialueekohtaisille sanoille. Tämän ongelman korjaamiseksi ehdotamme valvomatonta sopeutumismenetelmää, joka hienosäätää ennalta koulutettua out-of-domain NMT-mallia käyttämällä pseudo-in-domain-corpusta. Tarkemmin sanottuna suoritamme sanaston induktion poimimaan domeenisen sanaston ja rakennamme pseudorinnakkaisen domeenisen korpusen tekemällä sanasta sanaan taaksekääntämisen monikielisistä kohdelauseista. Menetelmämme saavuttaa johdonmukaisia parannuksia viidellä eri osa-alueella yli 20 parikohtaisella mukautusasetuksella ja kahdella malliarkkitehtuurilla ilman, että käytetään toimialueen sisäisiä rinnakkaislauseita. Menetelmämme parantaa jopa 14 BLEU:ta mukauttamattomiin malleihin verrattuna ja enintään 2 BLEU:ta vahvoihin taustakäännösten perusviivoihin.

Abstract

Il a déjà été noté que la traduction automatique neuronale (NMT) est très sensible au changement de domaine. Dans cet article, nous soutenons qu'il s'agit d'un double effet de la nature hautement lexicalisée de la NMT, qui se traduit par un échec pour les phrases comportant un grand nombre de mots inconnus et un manque de supervision pour les mots spécifiques à un domaine. Pour remédier à ce problème, nous proposons une méthode d'adaptation non supervisée qui affine un modèle NMT hors domaine pré-entraîné à l'aide d'un corpus pseudo-dans le domaine. Plus précisément, nous effectuons une induction de lexique pour extraire un lexique dans le domaine, et construisons un corpus pseudo-parallèle dans le domaine en effectuant une rétro-traduction mot pour mot de phrases cibles monolingues dans le domaine. Dans cinq domaines sur vingt paramètres d'adaptation par paires et deux architectures de modèles, notre méthode permet d'obtenir des améliorations cohérentes sans utiliser de phrases parallèles dans le domaine, améliorant jusqu'à 14 UEBL sur des modèles non adaptés, et jusqu'à 2 UEBL sur des bases de traduction arrière solides.

Abstract

Tá sé tugtha faoi deara roimhe seo go bhfuil aistriúchán meaisín néaraíoch (NMT) an-íogair d'aistriú fearainn. Sa pháipéar seo, áitímid gur dé-éifeacht í seo de nádúr an-leicseachaithe NMT, rud a fhágann gur theip ar abairtí ina bhfuil líon mór focal anaithnid, agus easpa maoirseachta ar fhocail a bhaineann go sonrach leis an bhfearann. Chun an fhadhb seo a réiteach, molaimid modh oiriúnaithe gan mhaoirseacht a mhionchoinníonn samhail NMT lasmuigh den fhearann réamh-oilte ag baint úsáide as corpas pseudo-in-domain. Go sonrach, déanaimid ionduchtú foclóireachta chun foclóir in-fhearainn a bhaint amach, agus tógaimid corpas in-fearainn pseudo-comhthreomhar trí chúl-aistriúchán focal ar fhocal a dhéanamh ar sprioc-abairtí aonteangacha in-fearainn. I gcúig réimse níos mó ná fiche socrú oiriúnaithe péirewise agus dhá ailtireacht mhúnla, baineann ár modh feabhsuithe comhsheasmhacha amach gan aon abairtí comhthreomhara in-fearainn a úsáid, feabhsaítear suas le 14 BLEU thar mhúnlaí neamhoiriúnaithe, agus suas le 2 BLEU thar bhonnlínte láidir aisaistrithe.

Abstract

An gane shi a gabãni, cewa fassarar maɓallin neural (NMT) yana mai gane wa shift na guda. Daga wannan takardan, Munã jãyayya cẽwa, wannan wata mai girma ne mai girma wa halin NMT, kuma yana kasancẽwa ga saurãre masu girma da wasu kalmõmi na da ba'a sani ba, kuma bã da wani suryauni wa tsarin maganar da aka ƙayyade. Yana buɗawa ga wannan muammãni, ko kuma muna buƙata wata shirin adaptori wanda ba ta tsare ba, wanda zai tunkuɗe wani misalin mai bayan-shirin da ya fito-out-Domen NMT don ya yi amfani da wani nau'in-Domin. Kayya da shi, za'a yi amfani da ko kuma za'a sami wani littãfin leksisi wanda ke cikin guda, kuma Mu sami wani nau'in-Domin da ke daidaita, ko kuma Mu yi amfani da maganar-zuwa-back-translation na monolingial in-Domen. Daga cikin garwaya shan kowace ko da tsarin adaptori sau biyu biyu, da kuma misalin biyu, za'a sami amfani da shiryoyin ayuka na daidai ko kuma ba ta yi amfani da wani cire-lokaci ba, kuma ya kyautata up to 14 BLEU a kan motsi wanda ba'a dacewa ba, kuma up to 2 BLEU a kan basuɓan mai ƙarfi bakar-translation.

Abstract

הוזכר קודם לכן שהתרגום במכונה העצבית (NMT) מאוד רגיש לשינוי שטח. בעיתון הזה, אנחנו טוענים שזו השפעה כפולה של הטבע הלקסיקלי ביותר של NMT, מה שמוביל בכישלון למשפטים עם מספר גדול של מילים לא ידועות, וחסר פיקוח למילים ספציפיות לתחום. כדי לתקן את הבעיה הזאת, אנו מציעים שיטת התאמה ללא השגחה שמתקנת מודל NMT מחוץ לתחום מאומן מראש באמצעות קורפוס פסודו-בתחום. במיוחד, אנו מבצעים דלקת לקסיקון כדי להוציא לקסיקון בתחום, ולבנות קורפוס פסאודו-מקביל בתחום על ידי ביצוע מילה למילה התרגום בחזרה של משפטי מטרה מונולשונות בתחום. במשך חמישה תחומות מעל עשרים סדרות התאמה בין זוגות ושני ארכיטקטורות דוגמניות, השיטה שלנו משיגה שיפורים קבועים בלי להשתמש בשום משפט מקביל בתחום, משתפר עד 14 BLEU על דוגמנים לא מתאימים, ועד שתי BLEU על שורות בסיסיים חזקות התרגום האחורי.

Abstract

यह पहले नोट किया गया है कि तंत्रिका मशीन अनुवाद (एनएमटी) डोमेन शिफ्ट के प्रति बहुत संवेदनशील है। इस पेपर में, हम तर्क देते हैं कि यह एनएमटी की अत्यधिक शाब्दिक प्रकृति का दोहरा प्रभाव है, जिसके परिणामस्वरूप बड़ी संख्या में अज्ञात शब्दों के साथ वाक्यों के लिए विफलता होती है, और डोमेन-विशिष्ट शब्दों के लिए पर्यवेक्षण की कमी होती है। इस समस्या को हल करने के लिए, हम एक असुरक्षित अनुकूलन विधि का प्रस्ताव करते हैं जो एक छद्म-इन-डोमेन कॉर्पस का उपयोग करके एक पूर्व-प्रशिक्षित आउट-ऑफ-डोमेन एनएमटी मॉडल को ठीक करता है। विशेष रूप से, हम एक इन-डोमेन लेक्सिकॉन निकालने के लिए लेक्सिकॉन इंडक्शन करते हैं, और मोनोलिंगुअल इन-डोमेन लक्ष्य वाक्यों के वर्ड-फॉर-वर्ड बैक-ट्रांसलेशन का प्रदर्शन करके एक छद्म-समानांतर इन-डोमेन कॉर्पस का निर्माण करते हैं। बीस pairwise अनुकूलन सेटिंग्स और दो मॉडल आर्किटेक्चर पर पांच डोमेन में, हमारी विधि किसी भी इन-डोमेन समानांतर वाक्यों का उपयोग किए बिना लगातार सुधार प्राप्त करती है, अनअनुकूत मॉडल पर 14 BLEU तक सुधार करती है, और मजबूत बैक-ट्रांसलेशन बेसलाइन पर 2 BLEU तक।

Abstract

Prije je zabilježeno da je prevod neuralnih strojeva (NMT) veoma osjetljiv na smjenu domena. U ovom papiru tvrdimo da je to dvostruki učinak vrlo leksikaliziranog prirode NMT-a, što je rezultiralo neuspjeh rečenica sa velikim brojem nepoznatih riječi i nedostatak nadzora za specifične riječi domena. Da bi se riješili ovaj problem, predlažemo neodređenu metodu adaptacije koja ispravlja predobučeni model NMT iz domena koristeći pseudo-in-domain corpus. Posebno, izvodimo leksikonsku indukciju da izvučemo leksikon u domenu, i izgradimo pseudo-paralelnu u domenu korpusu izvršavajući riječ za riječ natrag prevod jednojezičkih ciljnih kazna u domenu. U pet domena preko dvadeset postavljanja prilagodbe i dvije modelne arhitekture, naša metoda postiže konsekvente poboljšanje bez korištenja bilo kakvih paralelnih rečenica u domenu, poboljšanje do 14 BLEU-a u nepravilnim modelima i do 2 BLEU-a na snažnim početnim linijama prijevoza.

Abstract

Korábban megállapították, hogy a neurális gépi fordítás (NMT) nagyon érzékeny a domain eltolódásra. Ebben a tanulmányban azzal érvelünk, hogy ez kettős hatása az NMT rendkívül lexikalizált természetének, ami nagy számú ismeretlen szóval rendelkező mondatok kudarcához és a domain-specifikus szavak felügyeletének hiányához vezet. A probléma orvoslása érdekében egy felügyelet nélküli adaptációs módszert javasolunk, amely egy előre kiképzett, domain kívüli NMT modellt finomhangol pszeudo-in-domain korpusz segítségével. Konkrétan lexikon indukciót végezünk egy domain lexikon kivonására, és pszeudopárhuzamos domain korpuszt építünk fel a domain belüli célmondatok szó-szó visszafordításával. Öt, több mint húsz páros adaptációs beállítás és két modellarchitektúra területén a módszerünk következetes fejlesztéseket ér el anélkül, hogy tartományon belüli párhuzamos mondatokat használna, így akár 14 BLEU-t javít a nem adaptált modellekhez képest, és akár 2 BLEU-t az erős visszafordítási alapvonalakhoz képest.

Abstract

Նախկինում նշված է, որ նյարդային մեքենայի թարգմանությունը (NMT) շատ զգայուն է դաշտային փոփոխության դեպքում: Այս թղթի մեջ մենք փաստարկում ենք, որ սա NMT-ի բարձր լեքսիկալիզացված բնույթի երկու ազդեցություն է, ինչը հանգեցնում է նախադասությունների ձախողությանը անհայտ բառերով և բնագավառի մասնավոր բառերի վերահսկողության պակաս: Այս խնդիրը լուծելու համար մենք առաջարկում ենք անվերահսկված ադապտացիայի մեթոդ, որը կազմակերպում է նախապատրաստված ոչ բնագավառ NMT մոդելը օգտագործելով կեղծ բնագավառի կորպուս: Մասնավորապես, մենք կատարում ենք լեքսիկոնի ինդուկցիա, որպեսզի ստանանք տիեզերքում գտնվող լեքսիկոն և կառուցենք տիեզերքում գտնվող կեղծ-զուգահեռ կորպոս' կատարելով տիեզերքում գտնվող միալեզու նախադասությունների բառ առ բառ թարգմանումը: Հինգ ոլորտում՝ ավելի քան քսան զույգ հարմարեցման միջոցներում և երկու մոդել ճարտարապետական կառուցվածքներում մեր մեթոդը հասնում է կատարյալ բարելավումներին առանց օգտագործելու որևէ զուգահեռ նախադասություն, բարելավելով մինչև 14 բլեուզ անհարմարեցված մոդելների դե

Abstract

Sebelumnya telah dicatat bahwa terjemahan mesin saraf (NMT) sangat sensitif pada pemindahan domain. Dalam kertas ini, kita berdebat bahwa ini adalah efek dua dari sifat yang sangat leksikalisasi NMT, yang menyebabkan kegagalan untuk kalimat dengan jumlah besar kata-kata yang tidak diketahui, dan kekurangan pengawasan untuk kata-kata domain-spesifik. Untuk memperbaiki masalah ini, kami mengusulkan metode adaptasi yang tidak diawasi yang memperbaiki model NMT diluar domain yang dilatih sebelumnya menggunakan corpus pseudo-in-domain. Secara spesifik, kami melakukan induksi leksikon untuk mengekstrak sebuah leksikon dalam domain, dan membangun sebuah pseudo-parallel dalam domain corpus dengan melakukan kata-kata-kembali-terjemahan dari kalimat target monobahasa dalam domain. Dalam lima domain lebih dari dua puluh pengaturan adaptasi sepasang dan dua arsitektur model, metode kami mencapai peningkatan konsisten tanpa menggunakan kalimat paralel dalam domain, meningkatkan sampai 14 BLEU atas model yang tidak sesuai, dan sampai 2 BLEU atas garis dasar terjemahan belakang yang kuat.

Abstract

È stato precedentemente notato che la traduzione automatica neurale (NMT) è molto sensibile allo spostamento di dominio. In questo articolo, sosteniamo che si tratta di un duplice effetto della natura altamente lessicalizzata di NMT, con conseguente fallimento per frasi con un gran numero di parole sconosciute, e mancanza di supervisione per parole specifiche del dominio. Per rimediare a questo problema, proponiamo un metodo di adattamento non supervisionato che perfeziona un modello NMT pre-addestrato fuori-dominio utilizzando un corpus pseudo-in-dominio. Nello specifico, eseguiamo l'induzione lessicale per estrarre un lessico in-domain e costruiamo un corpus pseudo-parallelo in-domain eseguendo back-translation parola per parola di frasi target monolingue in-domain. In cinque domini, oltre venti impostazioni di adattamento a coppie e due architetture di modelli, il nostro metodo raggiunge miglioramenti costanti senza utilizzare frasi parallele in-domain, migliorando fino a 14 BLEU su modelli non adattati e fino a 2 BLEU su linee base di traduzione back-back.

Abstract

神経機械翻訳（ＮＭＴ）は、ドメインシフトに対して非常に敏感であることが以前に指摘されている。この論文では、これはNMTの高度に辞書化された性質の二重の効果であり、不明な単語が多い文章の失敗、ドメイン固有の単語の監督の欠如をもたらすと主張している。この問題を解決するために、私たちは、事前にトレーニングされたドメイン外NMTモデルを擬似ドメインコーパスを使用して微調整する、監視されていない適応方法を提案します。具体的には、語彙誘導を行い、ドメイン内の語彙を抽出し、単一言語のドメイン内ターゲット文の単語間逆変換を行うことにより、擬似並列のドメイン内コーパスを構築する。20以上のペア適応設定と2つのモデルアーキテクチャの5つのドメインで、当社の方法は、ドメイン内の並列文を使用せずに一貫した改善を達成し、未適応モデルよりも最大14 BLEU、強力な逆変換ベースラインよりも最大2 BLEUを改善します。

Abstract

Punika dipolehasno karo penting Nang pentungé iki, kita sawetara karo hal-awak iki dadi luwih luwih dumaten NMT, dadi kapan kanggo kelas barang gak dadi akeh perangé awak dhéwé, lan ora iso nglanggar sampeyan kanggo awak dhéwé. To remotely this question, we proposal an unapputered Adjustment method that Fine-tunes a before-tracted out-of-domain NMT model use a psepseuds-in-domain capus. CURRENTCURRENT, we do lexculo ndution to extract an in-domain lexculo, and rebuct a pseudo-Paralele in-domain corus by singing word-for-word back-translation of Monlanguage in-domain goal words. CURRENTCURRENT In 5 domain rns about 200 parawise modification settings and 2 model architectures, we method gêngêngêng êterkanti yêng ngêngêng ngêngêng yêng ngêngêng pengen cualêng ngêng yêng-domain Paralele Sentensi, in êngêng up to 14 BIUE supra unadapted model, and up to 2 BIUE supra strength back-translation basic linen.

Abstract

პირველად დააჩვენებულია, რომ ნეიროლური მაქინის გადატყვება (NMT) ძალიან სიგრძნობელია დიომინის გადატყვებაზე. ჩვენ ამბობით, რომ ეს NMT-ის ძალიან ლექსიკალიზებული სიტყვების ეუალური ეფექტია, რომელიც შემდეგ ბევრი სიტყვები უცნობილი სიტყვების შეცდომა და დემომინის განსაკუთრებული სიტყვების შესა ამ პრობლემას გადასრულებლად, ჩვენ მინდომებით არ გადასრულებული ადაპტიფიკაციის მეთოდი, რომელიც საკუთარი დასრულებულია საკუთარი პრობლემა NMT მოდელი, რომელიც გამოყენება პრობ განსაკუთრებით, ჩვენ ლექსიკონის ინდექცია, რომელიც დიომინში ლექსიკონის გამოყენება და კონსპეციონის პექსოდიო-პარალელი დიომინში კორპუსს შექმნა, რომელიც მონოლიგური სიტყვების მხარე ხუთ დიომენში 20-ზე მეტი აეპტიფიკაცია და ორი მოდელური აქტიქტიქტურები, ჩვენი მეტი შეიძლება კონსტენტური უფრო მეტირება, რომელიც არ გამოიყენება პოლალელური სიტყვები, 14 BLEU-ზე უფრო მეტირებული მოდელები და

Abstract

Біріншіден невралдық компьютерді аудару (NMT) доменге аудару үшін өте сезімді деп белгіледі. Бұл қағазда, бұл NMT лексикализациялық қасиетінің екі эффекті деп айтып тұрмыз. Бұл сөздердің көп саны беймәлім сөздер мен доменге арнаулы сөздердің қасиеті жоқ. Бұл мәселеді түзету үшін біз псевдо- доменде корпус қолданатын NMT үлгісін баптау әдісін қолданатын адаптациялау әдісін таңдаймыз. Ескерту үшін, домендегі лексиканы тарқату үшін лексикан индукциясын орындап, домендегі корпус псевдо- параллелі сөздерді домендегі мақсатты сөздерді қайта- аудару үшін құрамыз. Бес доменде жүзі екі жақсы адаптациялау параллель сөйлемелерді қолданбады және екі үлгі архитектуралар архитектурасынан артық, біздің әдіміміз доменде параллель сөйлемелерді қолданбады, 14 BLEU үшін жетілдірілмеген үлгілерді және 2 BL

Abstract

신경기계번역(NMT)은 역내 이동에 민감하다는 점에 주목했다.본고에서 우리는 이것이 NMT가 고도로 어휘화된 이중 효과로 대량의 미지의 단어를 함유한 문장이 실패하고 특정 분야의 단어에 대한 감독이 부족하다고 생각한다.이 문제를 해결하기 위해 우리는 무감독 자체 적응 방법을 제시했다. 이 방법은 위역내 어료 라이브러리를 사용하여 미리 훈련된 역외 NMT 모델을 미세하게 조정한다.구체적으로 말하자면 우리는 어휘 귀납을 통해 영역 내의 어휘를 추출하고 영역 내의 단어 목표문을 한 글자 한 글자 반역함으로써 위조 평행의 영역 내의 어휘 자료 라이브러리를 구축한다.5개 분야에서 20개 이상의 쌍 적응 설정과 두 개의 모델 구조에서 우리의 방법은 어떠한 역내 병행문구도 사용하지 않는 상황에서 일치된 개선을 실현했고 적응하지 않은 모델에서 14개의 BLEU를 높였으며 강력한 역추적 번역 기선에서 2개의 BLEU를 더 높였다.

Abstract

Anksčiau buvo pažymėta, kad neurologinis mašinų vertimas (NMT) yra labai jautrus domeno keitimui. Šiame dokumente teigiame, kad tai yra dvigubas labai leksikalistiško NMT pobūdžio poveikis, dėl kurio nepavyksta skirti daug nežinomų žodžių turinčių sakinių ir nėra priežiūros konkrečioms sritims skirtų žodžių atžvilgiu. To remedy this problem, we propose an unsupervised adaptation method which fine-tunes a pre-trained out-of-domain NMT model using a pseudo-in-domain corpus. Konkrečiai, mes atliekame leksikono indukciją, kad ištrauktume domeno leksikoną, ir sukurtume pseudoparalelinį domeno korpusą atlikdami žodžio už žodžio atgalinį vertimą monokalbiniais domeno tiksliniais sakiniais. Penkiose srityse daugiau kaip dvidešimt poros pritaikymo nustatymų ir dviejų modelių architektūrų mūsų metodas nuosekliai tobulina nenaudojant jokių lygiagrečių domeno sakinių, pagerinant iki 14 BLEU, palyginti su nepritaikytais modeliais, ir iki 2 BLEU, palyginti su tvirtomis vertimo atgal bazinėmis linijomis.

Abstract

Претходно беше забележано дека нервниот машински превод (НМТ) е многу чувствителен на промената на доменот. Во овој весник, тврдиме дека ова е двојен ефект на високо лексикализираната природа на НМТ, што резултира со неуспех за речениците со голем број непознати зборови, и недостаток на надзор за зборови специфични за доменот. За да го поправиме овој проблем, предлагаме ненадгледуван метод на адаптација кој го поправи предобучениот надвор од домен НМТ модел користејќи псевдо-во-домен корпус. Специфично, спроведуваме индукција на лексикони за да извлечеме лексикон во доменот, и да изградиме псевдо-паралелен корпус во доменот со спроведување на збор за збор назад превод на монојазични реченици на цел во доменот. Во пет домени над дваесет паровни адаптациски поставувања и две моделни архитектури, нашиот метод постигнува константни подобрувања без користење на паралелни реченици во доменот, подобрување до 14 БЛЕ во однос на неадаптирани модели и до 2 БЛЕ во однос на силни бази за превод.

Abstract

ന്യൂറല്‍ യന്ത്രത്തിന്‍റെ (NMT) പരിഭാഷപ്പെടുത്തുന്നത് ഡൊമെയിന്‍ ഷിഫ്റ്റിന് വളരെ സെന്‍സിഷനാണെന്ന് മുമ്പ ഈ പത്രത്തില്‍ നമ്മള്‍ വാദിക്കുന്നു, ഇത് NMT-ന്റെ മഹത്തായ ലെക്സിക്സിക്കേഷന്‍ പ്രകൃതിയുടെ രണ്ടാമത്തെ പ്രഭാവം ആണെന്ന്. അതിനാല്‍ വാക്കുകള്‍ വളരെ അപരാ ഈ പ്രശ്നം തിരിച്ചറിയാന്‍ ഞങ്ങള്‍ ഒരു സംരക്ഷിക്കുന്നില്ലാത്ത അഡാപ്റ്റേഷന്‍ രീതിയില്‍ പ്രായശ്ചിത്തമാക്കുന്നു. അത് മുന്‍പ് പരിശീലിക്കപ്പെ പ്രത്യേകിച്ച്, നമ്മള്‍ ഡൊമൈന്‍ ലെക്സിക്ഷന്‍ പുറത്തെടുക്കാന്‍ ലെക്സിക്ഷന്‍ പ്രവര്‍ത്തിപ്പിക്കുന്നു. ഡൊമെയിനിലെ ലക്ഷ്യങ്ങളുടെ വാക്കിന്റെ പുറകോട്ട് വാക് അഞ്ചു ഡോമെനെന്‍റിന് മീതെ ജോട്ടി ജോഡിയുടെ ക്രമീകരണങ്ങളിലും, രണ്ട് മോഡല്‍ ആര്‍ക്കിട്ടുകളിലും, നമ്മുടെ രീതിയില്‍ ഒരു മെച്ചപ്പെട്ട മാതൃകങ്ങള്‍ ഉപയോഗിക്കാതെ മെച്ചപ്പെടുത്ത

Abstract

Өмнө нь мэдрэлийн машин хөрөнгө оруулалт (NMT) нь холбооны шилжүүлэлт маш чухал гэдгийг анзаарсан. Энэ цаасан дээр бид NMT-ийн хоёр давхар хэмжээний нөлөө гэдгийг хэлж байна. Энэ нь маш олон хэмжээний үгсийг олж мэддэггүй үгсийг алдагдах боломжтой болсон. Энэ асуудлыг сайжруулахын тулд бид pseudo-in-domain корпус ашиглаж сургалтын өмнө сургалтын NMT загварыг сайжруулах боломжгүй адаптацийн аргыг санал болгоно. Ялангуяа, бид холбооны лексиконы тухай лексиконы сэтгэл хөдлөлийг хийж, холбооны корпус дээр pseudo-параллел бүтээж, холбооны нэг хэлний зорилготой өгүүлбэрүүдийг үг-for-word-back-translation хийж байдаг. Хоёр хоёр давхар загварчлал болон хоёр загварын архитектур дээр таван хэсэгт бидний архив нь зөвхөн параллель өгүүлбэрийг ашиглахгүй байнга сайжруулж, 14 БЛЕУ-д сайжруулж чадахгүй загваруудыг ашиглаж, 2 БЛЕУ-д хүчтэй эрх ху

Abstract

Sebelumnya telah dicatat bahawa terjemahan mesin saraf (NMT) sangat sensitif kepada shift domain. Dalam kertas ini, kita berdebat bahawa ini adalah kesan dua bagi sifat yang sangat leksikal NMT, yang mengakibatkan kegagalan bagi kalimat dengan bilangan besar perkataan yang tidak diketahui, dan kekurangan pengawasan bagi perkataan-perkataan domain-spesifik. Untuk memperbaiki masalah ini, kami cadangkan kaedah penyesuaian yang tidak diawasi yang menyesuaikan model NMT diluar domain yang dilatih-sebelum menggunakan korpus pseudo-in-domain. Secara khusus, kita melakukan induksi leksikon untuk mengekstrak leksikon dalam domain, dan membina korpus dalam domain pseudo-parallel dengan melaksanakan perkataan-untuk-perkataan-terjemahan kembali kalimat sasaran monobahasa dalam domain. In five domains over twenty pairwise adaptation settings and two model architectures, our method achieves consistent improvements without using any in-domain parallel sentences, improving up to 14 BLEU over unadapted models, and up to 2 BLEU over strong back-translation baselines.

Abstract

Ġie nnutat qabel li t-traduzzjoni tal-magna newrali (NMT) hija sensittiva ħafna għall-bidla fid-dominju. F’dan id-dokument, a ħna jargumentaw li dan huwa effett doppju tan-natura lexikalizzata ħafna tal-NMT, li jirriżulta f’falliment għal sentenzi b’għadd kbir ta’ kliem mhux magħruf, u nuqqas ta’ superviżjoni għal kliem speċifiku għad-dominju. To remedy this problem, we propose an unsupervised adaptation method which fine-tunes a pre-trained out-of-domain NMT model using a pseudo-in-domain corpus. Speċifikament, nagħmlu induzzjoni tal-lexicon biex neħħew lexicon fid-dominju, u nibnu corpus psewdo-parallel fid-dominju billi nagħmlu traduzzjoni lura tal-kelma għall-kelma tas-sentenzi fil-mira monolingwi fid-dominju. F’ħames oqsma ta’ aktar minn għoxrin sett ta’ adattament b’żewġ pari u żewġ arkitetturi mudell, il-metodu tagħna jikseb titjib konsistenti mingħajr l-użu ta’ sentenzi paralleli fid-dominju, it-titjib sa 14-il BLEU fuq mudelli mhux adattati, u sa 2 BLEU fuq linji bażi ta’ traduzzjoni retrospettiva b’saħħithom.

Abstract

Het is eerder opgemerkt dat neuronale machinevertaling (NMT) zeer gevoelig is voor domeinverschuiving. In dit artikel stellen we dat dit een tweeledig effect is van de sterk lexicaliseerde aard van NMT, resulterend in falen voor zinnen met grote aantallen onbekende woorden, en gebrek aan toezicht op domeinspecifieke woorden. Om dit probleem op te lossen, stellen we een niet-begeleide adaptatiemethode voor die een vooraf getraind out-of-domain NMT model finetunt met behulp van een pseudo-in-domain corpus. Specifiek voeren we lexicon inductie uit om een in-domein lexicon te extraheren, en bouwen we een pseudo-parallelle in-domein corpus door woord-voor-woord back-vertaling van eentalige in-domein doelzinnen uit te voeren. In vijf domeinen, meer dan twintig parenwise aanpassingsinstellingen en twee modelarchitecturen, bereikt onze methode consistente verbeteringen zonder gebruik te maken van parallelle zinnen in-domein, verbetert tot 14 BLEU ten opzichte van niet-aangepaste modellen en tot 2 BLEU over sterke back-translation baselines.

Abstract

Det er førre merkt på at omsetjinga av neuralmaskin (NMT) er veldig sensitivt til domeneforskyving. I denne papiret argumenterer vi at dette er ein dobbelt effekt av den høg leksikaliserte naturen av NMT, som fører til feil i setningar med store tal ukjende ord, og manglar overvåking for domenespesifikke ord. For å retta dette problemet, foreslår vi ein ikkje-oppretta adaptasjonsmetode som finn opprettar eit føretrained NMT-modell med pseudo-in-domain corpus. Spesielt utfører vi leksikonsinduksjon for å pakka ut ein leksikon i domenet, og bygge eit pseudo parallel i domenekorpus ved å utføra word-for-word back-translation av monolingual i domenemålsettingar. I fem domene over twintig par-tilpassingsinnstillingar og to modell-arkitektur oppnår metoden vårt konsistent forbedringar utan å bruka nokon parallelle setningar i domene, forbedra opp til 14 BLEU over utvikla modeller, og opp til 2 BLEU over sterke tilsetjingsbaselinjer.

Abstract

Wcześniej zauważono, że neuronowe tłumaczenie maszynowe (NMT) jest bardzo wrażliwe na przesunięcie domeny. W niniejszym artykule argumentujemy, że jest to podwójny efekt wysoce leksykalizowanego charakteru NMT, skutkujący niepowodzeniem zdań o dużej liczbie nieznanych słów oraz brakiem nadzoru nad słowami specyficznymi dla domeny. Aby rozwiązać ten problem, proponujemy metodę adaptacji bez nadzoru, która dostosowuje wstępnie przeszkolony model NMT poza domeną przy użyciu korpusu pseudo-in-domena. W szczególności wykonujemy indukcję leksykonu w celu wyodrębnienia leksykonu wewnątrz domeny i budujemy pseudo-równoległy korpus wewnątrz domeny poprzez wykonywanie słowo-w-słowo tłumaczenia tylnego jednojęzycznych zdań docelowych w domenie. W pięciu dziedzinach ponad dwudziestu ustawień adaptacji parowych i dwóch architekturach modeli nasza metoda osiąga spójne ulepszenia bez używania zdań równoległych w domenie, poprawiając do 14 BLEU w stosunku do modeli niedopasowanych, a do 2 BLEU w stosunku do silnych linii bazowych tłumaczenia wstecznego.

Abstract

Foi observado anteriormente que a tradução automática neural (NMT) é muito sensível à mudança de domínio. Neste artigo, argumentamos que este é um efeito duplo da natureza altamente lexicalizada da NMT, resultando em falha para frases com grande número de palavras desconhecidas e falta de supervisão para palavras específicas de domínio. Para remediar este problema, propomos um método de adaptação não supervisionado que ajusta um modelo NMT pré-treinado fora de domínio usando um corpus pseudo-no domínio. Especificamente, realizamos a indução do léxico para extrair um léxico no domínio e construímos um corpus pseudo-paralelo no domínio realizando a retrotradução palavra por palavra de sentenças-alvo monolíngues no domínio. Em cinco domínios com mais de vinte configurações de adaptação em pares e duas arquiteturas de modelo, nosso método alcança melhorias consistentes sem usar nenhuma sentença paralela no domínio, melhorando até 14 BLEU em modelos não adaptados e até 2 BLEU em linhas de base de retrotradução fortes.

Abstract

S-a observat anterior că traducerea automată neurală (NMT) este foarte sensibilă la schimbarea domeniului. În această lucrare, susținem că acesta este un efect dual al naturii foarte lexicalizate a NMT, rezultând în eșecul propozițiilor cu un număr mare de cuvinte necunoscute și lipsa supravegherii pentru cuvintele specifice domeniului. Pentru a remedia această problemă, propunem o metodă de adaptare nesupravegheată care reglează un model NMT pre-instruit în afara domeniului folosind un corpus pseudo-în-domeniu. Mai exact, efectuăm inducția lexiconului pentru a extrage un lexicon în domeniu și construi un corpus pseudo-paralel în domeniu prin efectuarea traducerii înapoi cuvânt cu cuvânt a propozițiilor țintă monolingve în domeniu. În cinci domenii, peste douăzeci de setări de adaptare pereche și două arhitecturi de modele, metoda noastră obține îmbunătățiri constante fără a utiliza propoziții paralele în domeniu, îmbunătățind până la 14 BLEU față de modele neadaptate și până la 2 BLEU față de liniile de bază puternice de traducere în spate.

Abstract

Ранее уже отмечалось, что нейронный машинный перевод (НМП) очень чувствителен к сдвигу домена. В этой статье мы утверждаем, что это является двойным эффектом высоко лексикализованной природы НМТ, что приводит к неудаче в предложениях с большим количеством неизвестных слов и отсутствию надзора за словами, относящимися к конкретной области. Чтобы исправить эту проблему, мы предлагаем метод неконтролируемой адаптации, который тонко настраивает предварительно обученную внедоменную НМТ-модель с использованием псевдовзвешенного корпуса. В частности, мы выполняем индукцию лексики, чтобы извлечь внутридоменный лексикон, и строим псевдопараллельный внутридоменный корпус, выполняя обратный перевод одноязычных целевых предложений в домене. В пяти доменах в течение двадцати парных настроек адаптации и двух архитектурах моделей наш метод достигает последовательных улучшений без использования каких-либо параллельных предложений в домене, улучшая до 14 BLEU по сравнению с неадаптированными моделями и до 2 BLEU по сравнению с сильными базовыми линиями обратного перевода.

Abstract

මුලින්ම දැනගන්න තියෙන්නේ න්‍යුරෝල් මැෂින් වාර්තාව (NMT) දේමින් වෙනස් වෙනුවෙන් ගොඩක් සංවේ මේ පැත්තේ, අපි ප්‍රශ්නයක් කරනවා මේක NMT ගැන ලෙක්සිකල් කරපු ප්‍රශ්නයක් කියලා, ප්‍රශ්නයක් නැති වචන් ලොකු සංඛ්ණාවක් තියෙන්න මේ ප්‍රශ්නයක් සුද්ධ කරන්න, අපි ප්‍රශ්නයක් සුද්ධ කරන්න පුළුවන් නැති සුද්ධිත විද්‍යාවක් ප්‍රශ්නයක් සඳහා ප්‍රශ්නයක් කරනවා විශේෂයෙන්ම, අපි ලෙක්සිකෝන් ප්‍රශ්නයක් කරන්නේ ඩොමේන් ලෙක්සිකෝන් එකක් නිර්මාණය කරන්න, සහ ප්‍රශ්නයක් නිර්මාණය කරන්නේ ඩොමේන් කොර්පුස් දොමේන් පහයින් වලින් දෙන්නෙක් වඩා දෙන්නෙක් සැකසුම් සැකසුම් සහ මොඩේල් සැකසුම් දෙකක් වලින්, අපේ විද්‍යාව සාමාන්‍ය වාර්තාවක් නොපාවිච්චි විදිය

Abstract

Že prej je bilo ugotovljeno, da je nevronski strojni prevod (NMT) zelo občutljiv na premik domene. V prispevku trdimo, da je to dvojni učinek visoko leksikalizirane narave NMT, kar povzroča neuspeh stavkov z velikim številom neznanih besed in pomanjkanje nadzora za domensko specifične besede. Za odpravo tega problema predlagamo neobzorovano metodo prilagajanja, ki z uporabo psevdo-in-domenskega korpusa natančno nastavi vnaprej usposobljen zunajdomenski NMT model. Natančneje izvajamo indukcijo leksikona, da izvlečemo domenski leksikon in gradimo psevdo-paralelni korpus v domeni z izvajanjem besednega za besedo nazaj prevoda enojezičnih ciljnih stavkov v domeni. Naša metoda dosega dosledne izboljšave na petih področjih več kot dvajsetih parov prilagoditvenih nastavitev in dveh arhitekturah modelov brez uporabe vzporednih stavkov v domeni, pri čemer izboljšuje do 14 BLEU v primerjavi z neprilagojenimi modeli in do 2 BLEU v primerjavi z močnimi osnovnimi črtami za nazaj prevajanje.

Abstract

Horay waxaa la soo sheegay in tarjumaadda maskinada neurada (NMT) waa mid aad u jilicsan yahay shifta domain. Qoraalkan waxaynu ka doodaynaa inay tahay saamayn laba jibbaar ah dabiicadda NMT, taas oo sababtoo ah ku baaqanaya cibaadada hadal badan oo aan la aqoon, iyo baahida ilaalinta hadalka gaarka ah ee gudaha. Si a an u xafidno dhibaatadan, waxaynu soo jeedaynaa qaab aan la ilaalinayn oo aad u sameyneyso qaab ka horeysan oo aan ka baxsan dalabka NMT oo ku isticmaalaya pseudo-in-domain. Si gaar ah, waxaynu sameynaa qalabka leksikarka si a an u soo saarno leksikarka gudaha, waxaana sameynaa qof uu ku sameynayo af-word-back-translation-monolingual in-domain. Shan dalool oo ka sarreeya labaatan labo oo sahab ah iyo labo dhismo model ah, qaabkanagu wuxuu gaadhaa hagaajin la mid ah oo aan isticmaalin qof aan u isticmaalin qalab isku mid ah, horumarinta ilaa 14 BLEU oo ka kordhiya model aan la daxeyn, iyo up to 2 BLEU oo ku qoran qoraal xoog badan dib-turjuman.

Abstract

Është vënë në dukje më parë se përkthimi i makinës nervore (NMT) është shumë i ndjeshëm ndaj ndryshimit të domenit. Në këtë letër, argumentojmë se ky është një efekt i dyfishtë i natyrës së mjaft lexikalizuar të NMT, që rezulton në dështim për fjalë me numra të mëdha fjalësh të panjohura dhe mungesë mbikqyrjeje për fjalë specifike për domenin. Për të zgjidhur këtë problem, ne propozojmë një metodë përshtatjeje të pazgjidhur që përshtatet një model NMT jashtë domenisë të paratrajnuar duke përdorur një korpus pseudo-në-domeni. Veçan ërisht, ne kryejmë induksionin e leksikonit për të nxjerrë një leksikon në domeni, dhe për të ndërtuar një korpus pseudo-paralel në domeni duke kryer fjalë-për-fjalë përkthimin mbrapa të fjalëve monogjuhësore në domeni objektiv. Në pesë fusha mbi njëzet rregullime adaptimi për dy palë dhe dy arkitektura modeli, metoda jonë arrin përmirësime konsistente pa përdorur asnjë fjalim paralel në fushë, duke përmirësuar deri në 14 BLEU mbi modele të papërshtatshëm dhe deri në 2 BLEU mbi linjat bazë të forta të përkthimit mbrapa.

Abstract

Prije je primjetljeno da je prevod neuralne mašine (NMT) veoma osetljiv na smjenu domena. U ovom papiru tvrdimo da je ovo dvostruki efekat visoko leksikaliziranog prirode NMT-a, što je rezultiralo neuspjeh rečenica sa velikim brojem nepoznatih reči i nedostatak nadzora za specifične reči domena. Da bi se riješili ovaj problem, predlažemo neodređenu metodu adaptacije koja ispravlja predobučeni model NMT iz domena koristeći pseudo-u-domenu korpus. Posebno, izvršavamo leksikonsku indukciju da izvučemo leksikon u domenu, i izgradimo pseudo-paralelnu u domenu korpusu izvršavajući reč za reč natrag-prevodom jednojezičkih ciljnih rečenica u domenu. U pet domenata preko dvadeset pare adaptacije i dve modele arhitekture, naša metoda postiže konsekvente poboljšanje bez korištenja bilo kakvih paralelnih rečenica u domenu, poboljšanja do 14 BLEU-a preko nepravilnih modela, i do 2 BLEU-a preko jakih osnovnih linija prijenosnog prevoda.

Abstract

Det har tidigare noterats att neural machine translation (NMT) är mycket känslig för domänförskjutning. I denna uppsats hävdar vi att detta är en dubbel effekt av NMT:s mycket lexikaliserade natur, vilket resulterar i misslyckande för meningar med stort antal okända ord, och brist på övervakning för domänspecifika ord. För att åtgärda detta problem föreslår vi en oövervakad anpassningsmetod som finjusterar en förutbildad NMT-modell utanför domänen med hjälp av en pseudo-in-domain korpus. Specifikt utför vi lexikoninduktion för att extrahera ett domänlexikon och konstruera en pseudo-parallell domänkorpus genom att utföra ord för ord bakåtöversättning av enspråkiga målmeningar. I fem domäner över tjugo parvisa anpassningsinställningar och två modellarkitekturer uppnår vår metod konsekventa förbättringar utan att använda några parallella meningar inom domänen, vilket förbättrar upp till 14 BLEU jämfört med oadapterade modeller och upp till 2 BLEU över starka baslinjer för backöversättning.

Abstract

Tafsiri ya mashine ya neura (NMT) ni yenye udanganyifu wa mabadiliko ya ndani. Katika karatasi hii, tunahoji kuwa hii ni madhara ya mbili ya asili ya NMT yenye uchochezi mkubwa, na kusababisha kushindwa kwa hukumu kwa idadi kubwa ya maneno yasiyofahamika, na ukosefu wa kudhibiti maneno maalum ya ndani. Ili kurekebisha tatizo hili, tunapendekeza mbinu za kuboresha zisizo sahihi ambazo zinatumia mbinu nzuri ya mafunzo ya awali ya NMT kwa kutumia vifaa vya pseudo-ndani. Kwa ujumla, tunafanya viwanda vya lexico kwa ajili ya kuondoa lexico ndani ya ndani, na kujenga chombo cha pseudo kinachofanana ndani ya ndani kwa kufanya tafsiri ya maneno ya upinzani ya sentensi za monolingual katika maeneo ya ndani. Katika maeneo mitano zaidi ya mazingira ya mabadiliko mawili na majengo mawili ya mifano, mbinu yetu inafanikiwa kuboresha maendeleo kamili bila kutumia hukumu yoyote ya usambazaji wa ndani, kuboresha hadi 14 BLEU juu ya mifano yasiyopatikana, na hadi 2 BLEU juu ya misingi yenye nguvu ya kutafsiri nyuma.

Abstract

முன்பு குறிப்பிடப்பட்டுள்ளது நெய்யல் இயந்திர மொழிபெயர்ப்பு (NMT) களம் மாற்றுவதற்கு மிகவும் உணர்வுள்ளது. இந்த காகிதத்தில், நாம் விவாதம் செய்து கொண்டிருக்கிறோம் அது NMT-ன் மிகவும் இரட்டைப்படுத்தப்பட்ட பாக்கியம், இது பெரிய தெரியாத வார்த்தைகளுடன் இந்த பிரச்சினையை தீர்க்க நாம் ஒரு பாதுகாப்பாக்கப்படாத ஒதுக்கும் முறைமையை பரிந்துரைக்கிறோம். இது ஒரு முன் பயிற்சிக்கப்பட்ட NMT மாதிரி ம குறிப்பிட்டு, 5 க்கு மேல் இருபது ஜோடி விளக்கமான மாதிரி அமைப்புகள் மற்றும் இரண்டு மாதிரி அமைப்புகளில், எங்கள் முறைமையில் எந்த இணைய வாக்குகளையும் பயன்படுத்தாமல் நிறைய முன்னேற்றம் பெறுகிறது, கை

Abstract

Öň öňden berilip berildi ki, nöral maşynyň terjimesine (NMT) domain üýtgetmesine örän hassasydyr. Bu kagyzda, biz bu NMT'in beýik lexikalizlenmiş tebigatynyň ikinji täsiridir diýip pikir edýäris. Bu sebäbi bilinmeyen sözler bilen uly sanlary ýok hasaplanýar we domençe sözler üçin gözetim ýok bolýar. Bu meseleyi çözmek için, suçsuz bir adaptasyon yöntemi teklif ediyoruz ki, bu şekilde öňünden öňünden öňünden eğitilmiş NMT modelini pseudo-in-domain korpusu kullanarak ayarlanmamış. Adatça, biz domenin tekizliklerini a çmak üçin leksikon alynmasını yapıyoruz ve domenin tekizliklerinde bir pseudo-parallel şeklini işleýäris. Beş sahada ýigrimi çift ýagdaýda adaptasyon düzenlemekleri we iki nusga arhitekturlyklary bolan, biziň metodamyz domaýda parallel sözleri ulanmazdan, 14 BLEU-a gollanmaýan nusgalar we 2 BLEU-a gollanmaýan terjime edilmeli terjime edilmeli çyzgymlar üçin ýeterlik gelişmeleri başarýar.

Abstract

پہلے یہ یاد کیا گیا ہے کہ نیورل ماشین ترجمہ (NMT) ڈومین شیفٹ کے لئے بہت حساس ہے۔ اس کاغذ میں ہم argue that this is a dual effect of the highly lexicalized nature of NMT, resulting in failure for sentences with large numbers of unknown words, and lack of supervision for domain-specific words. اس مسئلہ کو اصلاح کرنے کے لئے، ہم ایک غیر قابل تعمیر طریقے سے پیش آموزش دی جاتی ہے NMT موڈل کو ایک pseudo-in-domain corpus کے مطابق استعمال کرتے ہیں. خاص طور پر، ہم ایک ڈومین میں لکسیون کو اٹھانے کے لئے لکسیون کا انڈاکس کر رہے ہیں، اور ڈومین کے کورپوس میں ایک سئوڈو-پارالل بنا رہے ہیں، ایک لکسیون کے واپس-لکھنے کے ذریعے لکھنے کے ذریعے۔ پانچ ڈومین میں بیس جوڑوں سے زیادہ اضافہ کے ساتھ اور دو موڈل معمار کے ساتھ، ہمارا طریقہ صالح اضافہ ہوتا ہے بغیر کسی ڈومین میں مشابہ کلمات کا استعمال کرتا ہے، 14 BLEU تک بڑھتا ہے بغیر مشابہ کے موڈل پر، اور 2 BLEU تک مضبوط پشتیبانی بنسل لین پر۔

Abstract

Bu avval o'ylab berilganda, neyrolik tarjima (NMT) domen shiftga juda sensitive. Bu hujjatda biz murakkab qilamiz, bu NMT xil cheksizlik natijasi ikki effekti, bu gaplarning katta nomaʼlum so'zlar bilan bir necha so'zlarni qo'shish muvaffaqiyatsiz tugadi, va domen-specific so'zlari uchun muvaffaqiyatli yo'q. Bu muammolarni tozalash uchun biz xavfsiz qilmagan tizimni tahrirlash usulini talab qilamiz. Bu davlatdan oldin soʻzdan oldin NMT modelini foydalanish mumkin. Ko'rsatilgan, biz domen leksisini olib tashlash uchun leksikani ishlatamiz va domen tarkibini o'zgartirish mumkin. 5 davlatdan ortiq ikki qo'l oʻzgarish moslamalari va ikki model arxituvchilari ichida, bizning usuli hech qanday bog'liq so'zlarni ishlatish mumkin, hech qanday bogʻ'liq so'zlar yordamida 14 BLEU'ga oshirish mumkin, hech qanday qilmagan modellardan 2 BLEU'ga ko'paytirish mumkin.

Abstract

Trước đây đã được ghi nhận rằng dịch chuyển máy thần kinh (NMB) rất nhạy cảm với dịch vụ miền. Trong tờ giấy này, chúng tôi cho rằng đây là hai hiệu ứng của tính chất hóa cao của NMB, dẫn đến thất bại trong các câu truyện với một số lượng lớn những từ lạ, và thiếu sự giám sát của những từ cụ thể miền. Để giải quyết vấn đề này, chúng tôi đề xuất một phương pháp thích thích thích không giám sát... chỉnh sửa một mô hình NMT đã được đào tạo ngoài miền, sử dụng một tập thể đảm bảo. Thực hiện thư từ có để trích xuất từ ngôn ngữ trong miền, và xây dựng một tập thể trong miền giống giả bằng cách thực hiện từ-gọi-từ-back-dịch-Dịch-back-của-ngôn ngữ-trong-miền (ví dụ). Trong năm miền hơn hai mươi ghép thiết lập sửa đổi và hai kiến trúc mẫu, phương pháp của chúng ta đạt được những cải tiến liên tục mà không sử dụng các câu song song song trong miền, cải tiến lên tới 14 May thay cho mô hình không được mã hóa, và lên tới 2 May hơn các nền dịch bản dịch phụ mạnh.

Abstract

先已注意,神经机器翻译(NMT)对域移甚敏。本文以为NMT高词汇化重效,致多未知单词句败,且乏监特定领单词。凡此诸事,一无督应,宜用伪域内语料库微调预训练域外NMT模形。具体来说,我执词典归以取域内词典,因对单语域内句行逐字回译以构伪并行域内语料库。五域之中,过20成两架构,吾法不用一切句,比未应者多至14 BLEU,而于强者反基线2 BLEU。

Anthology ID:: P19-1286
Volume:: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics
Month:: July
Year:: 2019
Address:: Florence, Italy
Venue:: ACL
SIG:
Publisher:: Association for Computational Linguistics
Note:
Pages:: 2989–3001
Language:
URL:: https://aclanthology.org/P19-1286
DOI:: 10.18653/v1/P19-1286
Bibkey:
Cite (ACL):: Junjie Hu, Mengzhou Xia, Graham Neubig, and Jaime Carbonell. 2019. Domain Adaptation of Neural Machine Translation by Lexicon Induction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2989–3001, Florence, Italy. Association for Computational Linguistics.
Cite (Informal):: Domain Adaptation of Neural Machine Translation by Lexicon Induction (Hu et al., ACL 2019)
Copy Citation:
PDF:: https://aclanthology.org/P19-1286.pdf
Supplementary:: P19-1286.Supplementary.pdf
Terminologies:

PDF Cite Search Translate Supplementary