Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing Finnings van die WMT 2020 Gedeelde Opdrag op Outomatiese Post-Redigering የአሁኑን ፋይል አስቀምጥ نتائج مهمة WMT 2020 المشتركة حول التحرير التلقائي اللاحق WMT 2020 Otomatik Post-Editing iŇül…ôri Констатации на споделената задача за автоматичното следредактиране на ММТ 2020 Findings of the WMT 2020 Shared Task on Automatic Post-Editing རྗེས་ཀྱིས་རང་འགུལ་གྱིས་ཞུན་དག་པ་དང་མཉམ་སྤྱོད་པའི་WMT 2020་ཡི་ལས་ཀ་འདི་རྙེད་ཐོག་ཏེ། Pronaći zajednički zadatak WMT 2020 o automatskom posledištu editiranja Results of the WMT 2020 Shared Task on Automatic Post-Editing Zjištění sdíleného úkolu WMT 2020 na automatické posteditování Resultater af WMT 2020 delte opgave om automatisk efterredigering Ergebnisse der WMT 2020 Shared Task zur automatischen Nachbearbeitung Ευρήματα της κοινής εργασίας για την αυτόματη μετα-επεξεργασία του WMT 2020 Hallazgos de la tarea compartida del WMT 2020 sobre la postedición automática WMT 2020 ühise ülesande tulemused automaatse järelredigeerimise kohta پیدا کردن کار مشترک WMT ۲۰۰۲ در مورد ویرایش بعد از ویرایش خودکار WMT 2020:n automaattista jälkimuokkausta koskevan yhteisen tehtävän havainnot Résultats de la tâche partagée WMT 2020 sur la post-édition automatique Torthaí Thasc Comhroinnte WMT 2020 ar Iar-Eagarthóireacht Uathoibríoch @ action Findings of the WMT 2020 Shared Task on Automatic Post-Editing WMT 2020 के निष्कर्ष स्वचालित पोस्ट-संपादन पर साझा कार्य Pronaći zajednički zadatak WMT 2020 o automatskom posledištu redakcije A WMT 2020 közös feladatának megállapításai az automatikus utószerkesztéssel kapcsolatban Աշխարհային Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միացյալ Միաց Penemuan dari Tugas Berkongsi WMT 2020 pada Post-Editing Otomatis Risultati dell'attività condivisa WMT 2020 sulla post-modifica automatica 自動ポスト編集に関するWMT 2020共有タスクの調査結果 Finding WMT 2020 სხვადასხვა დავალების მონახვა ავტომატური პოსტი რედაქტირებაზე WMT 2020 автоматты түрде өңдеу үшін ортақтастырылған тапсырманың іздеу WMT 2020 자동 사후 편집 공유 작업 검색 Bendros WMT 2020 užduoties dėl automatinio pakartotinio redagavimo išvados Најдовме заедничка задача на WMT 2020 за автоматско постуредување സ്വയം എഡിറ്ററിങ്ങില് വ്യുഎംടി 2020 പങ്കെടുത്ത ജോലിയുടെ കണ്ടുപിടിക്കുന്നു WMT 2020-ийн хуваалтын ажил автоматик Пошт-Editing дээр Carian Tugas Berkongsi WMT 2020 pada Penyunting-Automatik Sejbiet tal-Kompitu Konġunt tad-WMT 2020 dwar l-Edizzjoni Awtomatika wara l-Edizzjoni Resultaten van de WMT 2020 Shared Task over automatische nabewerking Finn av delt oppgåve WMT 2020 på automatisk postredigering Wyniki wspólnego zadania WMT 2020 dotyczącego automatycznej edycji post-edycji Descobertas da tarefa compartilhada do WMT 2020 na pós-edição automática Concluziile misiunii partajate WMT 2020 privind editarea automată Результаты совместной задачи WMT 2020 по автоматическому постредагированию WMT 2020යි ස්වයංක්රිය පොස්ට් සංපාදනයේ සමාගත වැඩක් හොයාගන්න Ugotovitve skupne naloge WMT 2020 o samodejnem naknadnem urejanju Findings of the WMT 2020 Shared Task on Automatic Post-Editing Zbulimet e detyrës së përbashkët të WMT 2020 mbi posteditimin automatik Pronaðenja zajedničkog zadatka WMT 2020 o automatskom posledištu editiranja Resultat av WMT 2020:s gemensamma uppgift om automatisk efterredigering Matokeo ya kazi ya kushirikiana na WMT 2020 kwenye Uhariri Huduma WMT 2020 பகிர்ந்த பணியின் தானியங்கி திருத்தும் பின் தொகுப்பில் WMT 2020 க்கு தேடுதல் WMT 2020'iň Otomatik Poz Editlemesi üzerinde Paýlaşan Göreviniň ahyrlyklary WMT 2020 Shared Task on Automatic Post-Editing Comment Tìm thấy Nhiệm vụ chung của WRT 2020 về việc sửa đổi tự động WMT 2020 自译后编辑共之
Rajen Chatterjee, Markus Freitag, Matteo Negri, Marco Turchi
Abstract
We present the results of the 6th round of the WMT task on MT Automatic Post-Editing. The task consists in automatically correcting the output of a black-box machine translation system by learning from existing human corrections of different sentences. This year, the challenge consisted of fixing the errors present in English Wikipedia pages translated into German and Chinese by state-ofthe-art, not domain-adapted neural MT (NMT) systems unknown to participants. Six teams participated in the English-German task, submitting a total of 11 runs. Two teams participated in the English-Chinese task submitting 2 runs each. Due to i) the different source / domain of data compared to the past (Wikipedia vs Information Technology), ii) the different quality of the initial translations to be corrected and iii) the introduction of a new language pair (English-Chinese), this year’s results are not directly comparable with last year’s round. However, on both language directions, participants’ submissions show considerable improvements over the baseline results. On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on EnglishChinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. Overall, coherent gains are also highlighted by the outcomes of human evaluation, which confirms the effectiveness of APE to improve MT quality, especially in the new generic domain selected for this year’s round.Abstract
Ons stel die resultate van die 6de ronde van die WMT taak op MT Outomatiese Post- Redigering voor. Die taak bestaan in automaties korrigeer die uitset van 'n 'swart- box' masjien vertaling stelsel deur te leer van bestaande menslike korreksies van verskillende setinge. Hierdie jaar het die uitdrukking bestaan van die opstelling van die foute wat in Engelse Wikipedia voorsien is, vertaal na Duitse en Sjinees deur staat-van die kuns, nie domein-aanpasde neurale MT (NMT) stelsels onbekende aan deelnaders nie. Ses teams het in die Engelse-Duitse taak gedeel en 'n totaal 11 loop aangestuur. Twee teams het gedeel in die Engels-Sjinese taak wat 2 loop elke. Dus i) die verskillende bron/domein van data vergelyk met die verlede (Wikipedia teen Informasie Tehnologie), ii) die verskillende kwaliteit van die aanvanklike vertalings om korrigeer te word en iii) die inligting van 'n nuwe taal paar (Engels-Sjinese), hierdie jaar se resultate i s nie direk vergelykbaar met die laaste jaar se rond nie. Maar, op beide taal rigtings vertoon die onderskrifte van deelnaders betekende verbeteringe oor die basilyn resultate. Op Engels-Duits, die boonste rangeerde stelsel verbeter oor die basisline deur -11,35 TER en +16,68 BLES punte, terwyl op Engelske Sjinese die verbeteringe is respektief tot -12,13 TER en +14,57 BLEU punte. Oorsaaklik, koherente verkrywings word ook verlig deur die outcome van die menslike evaluering, wat bevestig die effektiviteit van APE om MT-kwaliteit te verbeter, veral in die nuwe generieke domein gekies vir hierdie jaar se ronde.Abstract
በMT አውቶማቲካዊ ፖት-አስተካክል ላይ የWMT ስራውን የስድስተኛው ዙሪያ ፍሬዎችን እናቀርባታለን፡፡ The task consists in automatically correcting the output of a 'black-box' machine translation system by learning from existing human corrections of different sentences. በዚህች ዓመት ግንኙነት በንግግሊዝኛ Wikipedia ገጾች ውስጥ ያሉትን ስህተቶችን በመሠረት፣ በግርማዊ እና ቻይናዊ ገጾች በሀገር-የፊተኛ አርእስት፣ ዶሜን-አቀማጠለ ነዌራዊ MT (NMT) ስርዓቶች ሳይታወቁ ነው፡፡ ስድስት ቡድን በሙሉ 11 ሮኖች በመስጠት እንግሊዘኛ-ጀርመን ሥራ ተጋጠሙ። Two teams participated in the English-Chinese task submitting 2 runs each. ከቀድሞው (Wikipedia vs Information Technology), i i) የመጀመሪያው ትርጓሜዎች ማቀናጃ እና iii) አዲስ ቋንቋ ሁለት (እንግሊዘኛ-ቻይና) መግለጫ የተለየ ሀብት/ዶሜን የዚህ ዓመታው ፍጻሜ ባለፈው ዓመታት ክፍል ቀጥተኛ አይተካከሉም፡፡ ነገር ግን በሁለቱ ቋንቋ መንገዶች፣ ተጋሪዎቹ የጥያቄ ውጤቶች የበለጠ ትክክል ማድረግ ያሳያል፡፡ እንግሊዝኛ-ጀርመን፣ የደረጃ ደረጃዎች የደረጃ ደረጃዎች - 11.35 TER እና +16.68 BLEU points በመጠቀም ይሻላል፤ እንግሊዝኛ ቻይንኛ ተደጋጋፊዎች ግን -12.13 ቴር እና +14.57 BLEU points. በጠቅላላ፣ የሰው ማስታወቂያ ውጤት እንዲያረጋግጥ፣ ለዚህም ዓመታት በተመረጠው አዲስ የብሔራዊ አዲስ ዶሜን አካባቢ አካባቢ የAPE ጥቅም እንዲያበጅል ነው፡፡Abstract
نقدم نتائج الجولة السادسة من مهمة WMT في التحرير التلقائي اللاحق لـ MT. تتمثل المهمة في التصحيح التلقائي لمخرجات نظام الترجمة الآلية "الصندوق الأسود" من خلال التعلم من التصحيحات البشرية الحالية لجمل مختلفة. اشتمل التحدي هذا العام على إصلاح الأخطاء الموجودة في صفحات ويكيبيديا الإنجليزية المترجمة إلى الألمانية والصينية من خلال أحدث أنظمة MT العصبية (NMT) غير المتكيفة مع المجال والتي لا يعرفها المشاركون. شاركت ستة فرق في المهمة الإنجليزية الألمانية ، وقدمت ما مجموعه 11 جولة. شارك فريقان في المهمة الإنجليزية - الصينية حيث قدم كل منهما جولتين. بسبب 1) المصدر / المجال المختلف للبيانات مقارنة بالماضي (ويكيبيديا مقابل تكنولوجيا المعلومات) ، 2) الجودة المختلفة للترجمات الأولية المطلوب تصحيحها و 3) إدخال زوج لغوي جديد (الإنجليزية-الصينية) ، لا يمكن مقارنة نتائج هذا العام بشكل مباشر مع نتائج جولة العام الماضي. ومع ذلك ، في كلا الاتجاهين اللغويين ، تُظهر تقديمات المشاركين تحسينات كبيرة على نتائج خط الأساس. في اللغة الإنجليزية-الألمانية ، يتحسن النظام المصنف الأعلى على خط الأساس بمقدار -11.35 TER و +16.68 BLEU ، بينما في اللغة الإنجليزية الصينية ، تصل التحسينات إلى -12.13 TER و +14.57 BLEU على التوالي. بشكل عام ، يتم إبراز المكاسب المتماسكة أيضًا من خلال نتائج التقييم البشري ، مما يؤكد فعالية APE في تحسين جودة الترجمة الآلية ، لا سيما في المجال العام الجديد الذي تم اختياره لجولة هذا العام.Abstract
Biz WMT işinin 6. runun sonuçlarını MT Otomatik Post Editing üçün göstəririk. Bu iş, müxtəlif cümlələr arasındakı insanların düzəltmələrindən öyrənib 'qara-qutu' maşın çevirim sisteminin çıxışını otomatik düzəltməsindədir. Bu il, İngilizə Wikipedia sayfalarında Almanca və Çin ə çevirilən xətaları təyin etməkdə idi. İşkilərə tanımayan domain-adapted neural MT (NMT) sistemləri deyildir. Altı dəstə İngilizce-Alman işin ə katıldı, 11 dəstə istifadə edirdi. İki dəstə İngilizə-Çinlə işləri ilə birlikdə iki dəstə ilə birlikdə idi. I) əvvəlkilərin (Wikipedia vs Information Technology) ilə qarşılaşdığı müxtəlif məlumatların mənbəs i/domeini, ii) ilk dəyişiklik təkrarlarının müxtəlif keyfiyyətini düzəltməsi və iii) yeni dil çift (İngilizce-Çinli) təkrarlaması, bu ilin sonuçları son ilinin ətrafında düzgün müəyyən edilməz. Lakin hər iki dil tərəfində, iştirakçıların tərəfindən baz çətinlərin sonuçlarında çox yaxşılıqları göstərir. İngilizce-Almanca tərəfindən ən ən yüksək səf sistemi tərəfindən - 11,35 TER və +16,68 BLEU noktaları ilə yaxşılaşdırır, İngilizce Çinliyə tərəfində yaxşılıqlar -12,13 TER və +14,57 BLEU noktaları ilə. Bütün bunlar, həmçin in insan değerlendirməsinin sonuçları ilə birləşdirilmiş qənimətlərin MT keyfiyyətini yaxşılaşdırmağını təsdiqləyir, özlərinə də bu il üçün seçilmiş yeni generic domeində.Abstract
Представяме резултатите от 6-ия кръг на задачата за автоматична следредакция на МТ. Задачата се състои в автоматично коригиране на изхода на системата за машинен превод "черна кутия", като се учи от съществуващите човешки корекции на различни изречения. Тази година предизвикателството се състои в поправяне на грешките, присъстващи в английските страници на Уикипедия, преведени на немски и китайски, чрез най-съвременни, а не домейн-адаптирани неврални МТ (НМТ) системи, неизвестни за участниците. Шест отбора участваха в англо-германската задача, като представиха общо 11 проби. Два отбора участваха в англо-китайската задача с по 2 проби всеки. Поради i) различен източник/област на данни в сравнение с миналото (Уикипедия срещу информационни технологии), ii) различното качество на първоначалните преводи, които трябва да бъдат коригирани и iii) въвеждането на нова езикова двойка (английски-китайски), резултатите от тазгодишната година не са пряко сравними с миналия кръг. Въпреки това, и в двете езикови направления заявленията на участниците показват значителни подобрения спрямо изходните резултати. При английско-немски най-класираната система се подобрява спрямо базовата база с -11.35 точки, докато при английския китайски подобренията са съответно до -12.13 точки и +14.57 точки. Като цяло, съгласуваните ползи се подчертават и от резултатите от оценката на хората, което потвърждава ефективността на ЕПП за подобряване на качеството на МТ, особено в новата генерична област, избрана за тазгодишния кръг.Abstract
এমটিটি স্বয়ংক্রিয় পোস্ট সম্পাদকে ডিউএমটি কাজের ছয় রাউন্ডের ফলাফল আমরা উপস্থাপন করছি। বিভিন্ন বাক্স থেকে বিদ্যমান মানুষের সংশোধন থেকে জানানোর মাধ্যমে একটি 'কালো-বক্স' মেশিন অনুবাদ সিস্টেমের আউটপুট এই বছর, ইংরেজী উইকিপিডিয়া পাতায় যে সমস্ত ভুল সংস্কার করা হয়েছে তা জার্মান এবং চীনা পাতায় অনুবাদ করা হয়েছে তা জার্মানী এবং চীনা পাতায়, তা ডোমেইন-adapted নিউরেল এম ছয়টি দল ইংরেজী জার্মান কাজে অংশগ্রহণ করেছে, ১১ টি রান প্রদান করেছে। দুই দল ইংরেজী ও চীনা কাজে অংশগ্রহণ করেছে যারা প্রত্যেকটি দুটি চালাচ্ছে। কারণ আমি) অতীতের (উইকিপিডিয়া বিভিন্ন তথ্য প্রযুক্তি), ২) প্রথম অনুবাদের বিভিন্ন ধরনের মান সংশোধন এবং আই) নতুন ভাষার জোয়ার (ইংরেজী-চীনা) প্রথম ভাষার সূত্র/ডোমেইন, এই বছরের ফলাফল গত বছর তবে এই দুই ভাষার দিকে অংশগ্রহণকারীদের প্রদত্ত প্রদান করা হয়েছে বেসাইলাইনের ফলাফলের ব্যাপক উন্নতি দেখাচ্ছে। ইংরেজি-জার্মানে সেরা সিস্টেম-১১. সাধারণত, মানুষের মূল্যের ফলাফলের সাথে একত্রিত অর্জন তুলে ধরা হয়েছে, যা এপিএসের কার্যক্রম নিশ্চিত করেছে এমটি মান উন্নত করার জন্য, বিশেষ করে এই বছরের সারার্Abstract
ང་ཚོས་ MT རང་འགུལ་གྱིས་ཞུན་དག་པ་ཐོག་ལས་ WMT དུས་བཀོལ་གྱི་རྗེས་ཐོག་གི་ཚབ་ལྗོངས་༦པ་ལ་སྟོན་པ། བྱ་འགུལ་འདི་ལ་རང་འགུལ་གྱིས་གནད་ཅིག་གནད་ཡིག་ཆའི་མ་ལག་གི་ཡིག་སྒྲུབ་གྱི་ནང་འཁོར་བ་བསྒྱུར་བཅོས་བྱེད་དུ་ཡོད་པ This year, the challenge consisted of fixing the errors present in English Wikipedia pages translated in to German and Chinese by state-ofthe-art, not domain-adapted neural MT (NMT) systems unknown to participants. དབུལ་གཞུང་གི་གནད་སྡུད་༦་དབུལ་ཡིག་ཆའི་ལས་ཀ་ལྟར་མཉམ་དུ་འགྲོ་བཞིན་ཡོད། ཚོ་ཁག་གཉིས་ཀྱིས་དབྱིན་ཡིག་དང་རྒྱ་ནག་གི་བྱ་སྤྱོད་ཀྱི་རེ་རེ་བཞིན་འགྲོ་བ་ཡིན། Due to i) the different source/domain of data compared to the past (Wikipedia vs Information Technology), ii) the different quality of the initial translations to be corrected and iii) the introduction of a new language pair (English-Chinese), this year's results are not directly comparable with last year's round. ཡིན་ནའང་། སྐད་ཡིག On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on English Chinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. བསྡུར་བརྗོད་བྱས་པར། མཉམ་མཁན་གྱི་རྒྱལ་ཁབ་ཀྱིས་མིའི་དཔྱད་ལས་མཐོང་ནུས་ཀྱི་གནད་སྡུད་འདི་གི་རྒྱལ་ཁབ་སྐྱོར་བརྗོད་བྱེད་རྒྱུ་དང་།Abstract
Predstavljamo rezultate 6. runde WMT zadatka na automatskom posledištu MT-a. Taj zadatak se sastoji u automatskom korištenju izlaza sustava prevoda mašine 'crne kutije' učeći od postojećih ljudskih korekcija različitih rečenica. Ove godine je izazov sastavio od popravljanja grešaka na engleskim Wikipedijskim stranicama prevedena na njemačke i kineske državnim umjetničkim sistemima, a ne na domenu prilagođenim neuralnim MT (NMT) sistemima nepoznatim učesnicima. Šest timova sudjelovalo je u engleskom-njemačkom zadatku, predajući ukupno 11 trka. Dva timova su sudjelovala u engleskom-kineskom zadatku koji podnosi 2 vode svaki. Zbog i) različitih izvora/domena podataka u usporedbi s prošlošću (Wikipedia protiv informacione tehnologije), ii) različitih kvaliteta početnih prevoda koje treba ispraviti i iii) uvođenje novog jezičkog parova (engleski kineski), rezultati ove godine nisu direktno usporedbeni s prošlogodišnjim krugom. Međutim, na obje jezičke upute, podaci učesnika pokazuju značajne poboljšanje u odnosu na početne rezultate. Na engleskom-njemačkom, najviši redoviti sistem se poboljšava preko početne linije za -11,35 TER i +16,68 BLEU to čke, a na engleskom kineskom su poboljšanja u odnosu na -12,13 TER i +14,57 BLEU točke. U cjelokupnom slučaju, također se naglašavaju saslušni dobiti rezultati ljudske procjene, koji potvrđuje učinkovitost APE-a za poboljšanje kvalitete MT-a, posebno u novom generičkom domenu odabranom za ovu godinu okrugu.Abstract
Presentam els resultats de la sexta ronda de la tasca WMT en MT Automatic Post-Editing. La tasca consisteix en corregir automàticament la producció d'un sistema de traducció d'una caixa negra aprenent de correccions humanes existents de diferents frases. Aquest any, el repte consistia en corregir els errors presents a les pàgines angleses de Wikipedia traduïts en alemany i xinès per sistemes MT neural moderns i no adaptats al domini desconeguts pels participants. Seis equips van participar en la tasca anglo-alemanya, enviant un total d'onze carreres. Dos equips van participar en la tasca anglo-xinesa enviant 2 execucions cada. Due to i) the different source/domain of data compared to the past (Wikipedia vs Information Technology), ii) the different quality of the initial translations to be corrected and iii) the introduction of a new language pair (English-Chinese), this year's results are not directly comparable with last year's round. Tot i així, en les dues direccions lingüístices, les presentacions dels participants mostren millors considerables en comparació amb els resultats basals. On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on EnglishChinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. En general, els resultats de l'evaluació humana també destaquen els guanys coherent s, que confirma l'eficacia de l'APE per millorar la qualitat del MT, especialment en el nou domini genèric seleccionat per aquest any.Abstract
Představujeme výsledky šestého kola WMT úlohy na MT Automatic Post-Editing. Úkol spočívá v automatické korekci výstupu strojového překladu systému "černé skříňky" učením se z existujících lidských oprav různých vět. Úkolem letošního roku bylo opravit chyby přítomné na anglických stránkách Wikipedie přeložené do němčiny a čínštiny pomocí nejmodernějších, nikoli doménově adaptovaných neuronových MT (NMT) systémů, které účastníci neznají. Šest týmů se zúčastnilo anglicko-německého úkolu, předložilo celkem jedenáct běhů. Na anglicko-čínském úkolu se podílely dva týmy, které každý z nich odeslal dvě běhy. Vzhledem k i) odlišnému zdroji/doméně dat ve srovnání s minulostí (Wikipedie vs Informační technologie), ii) odlišné kvalitě původních překladů, které mají být opraveny a iii) zavedení nového jazykového páru (anglicko-čínština), letošní výsledky nejsou přímo srovnatelné s loňským rokem. V obou jazykových směrech však podání účastníků vykazují významné zlepšení oproti základním výsledkům. U anglicko-němčiny se nejlépe hodnocený systém zlepšuje oproti základním bodům o -11.35 TER a +16.68 BLEU body, zatímco u angličtiny jsou zlepšení až do -12.13 TER a +14.57 BLEU bodů. Celkově soudržné zisky jsou také zdůrazněny výsledky hodnocení lidí, které potvrzují účinnost APE ke zlepšení kvality MT, zejména v nové generické oblasti vybrané pro letošní kolo.Abstract
Vi præsenterer resultaterne af den 6. runde af WMT-opgaven på MT Automatic Post-Editing. Opgaven består i automatisk at korrigere resultatet af et "sort boks"-maskinoversættelsessystem ved at lære af eksisterende menneskelige korrektioner af forskellige sætninger. I år bestod udfordringen i at rette fejlene på engelske Wikipedia-sider oversat til tysk og kinesisk af state-of-art, ikke domænetilpassede neurale MT (NMT) systemer ukendt for deltagerne. Seks hold deltog i den engelsk-tyske opgave og indsendte i alt 11 løb. To hold deltog i den engelsk-kinesiske opgave, der indsendte 2 kørsler hver. På grund af i) den forskellige datakilde/domæne i forhold til fortiden (Wikipedia vs informationsteknologi), ii) den forskellige kvalitet af de oprindelige oversættelser, der skal rettes, og iii) indførelsen af et nyt sprogpar (engelsk-kinesisk), er årets resultater ikke direkte sammenlignelige med sidste års runde. I begge sprogretninger viser deltagernes indlæg imidlertid betydelige forbedringer i forhold til basisresultaterne. På engelsk-tysk forbedres det toprangerede system i forhold til baseline med -11,35 TER og +16,68 BLEU point, mens forbedringerne på engelsk-kinesisk er henholdsvis op til -12,13 TER og +14,57 BLEU point. Samlet set fremhæves sammenhængende gevinster også af resultaterne af evalueringen af mennesker, som bekræfter APE's effektivitet til at forbedre MT-kvaliteten, især i det nye generiske domæne, der er udvalgt til årets runde.Abstract
Wir präsentieren die Ergebnisse der sechsten Runde der WMT-Aufgabe auf MT Automatic Post-Editing. Die Aufgabe besteht darin, die Ausgabe eines "Black-Box"-maschinellen Übersetzungssystems automatisch zu korrigieren, indem aus vorhandenen menschlichen Korrekturen verschiedener Sätze gelernt wird. In diesem Jahr bestand die Herausforderung darin, die Fehler auf englischen Wikipedia-Seiten zu beheben, die in Deutsch und Chinesisch durch modernste, nicht domänenadaptimierte neuronale MT (NMT)-Systeme (neurale MT) übersetzt wurden, die den Teilnehmern unbekannt waren. Sechs Teams nahmen an der englisch-deutschen Aufgabe teil und reichten insgesamt elf Läufe ein. Zwei Teams haben an der englisch-chinesischen Aufgabe teilgenommen und jeweils zwei Läufe eingereicht. Aufgrund i) der unterschiedlichen Datenquelle/Domäne im Vergleich zur Vergangenheit (Wikipedia vs. Informationstechnologie), ii) der unterschiedlichen Qualität der zu korrigierenden Erstübersetzungen und iii) der Einführung eines neuen Sprachpaares (Englisch-Chinesisch) sind die diesjährigen Ergebnisse nicht direkt mit dem Vorjahr vergleichbar. In beiden Sprachrichtungen zeigen die Beiträge der Teilnehmer jedoch erhebliche Verbesserungen gegenüber den Ausgangsergebnissen. Auf Englisch-Deutsch verbessert sich das am besten platzierte System gegenüber der Baseline um -11.35 TER und +16.68 BLEU Punkte, während auf EnglischChinesisch die Verbesserungen jeweils bis zu -12.13 TER und +14.57 BLEU Punkte liegen. Insgesamt werden kohärente Gewinne auch durch die Ergebnisse der Humanbewertung hervorgehoben, die die Wirksamkeit von APE zur Verbesserung der MT-Qualität bestätigt, insbesondere in dem neuen generischen Bereich, der für dieses Jahr ausgewählt wurde.Abstract
Παρουσιάζουμε τα αποτελέσματα του 6ου γύρου της εργασίας για την αυτόματη μετα-επεξεργασία ΜΤ. Το έργο συνίσταται στην αυτόματη διόρθωση της εξόδου ενός συστήματος μηχανικής μετάφρασης "μαύρου κουτιού" μαθαίνοντας από υπάρχουσες ανθρώπινες διορθώσεις διαφορετικών προτάσεων. Φέτος, η πρόκληση συνίστατο στην επιδιόρθωση των σφαλμάτων που υπάρχουν στις σελίδες της Αγγλικής Βικιπαίδειας που μεταφράστηκαν στα γερμανικά και τα κινέζικα με σύγχρονα συστήματα νευρωνικού ΜΤ (NMT) που δεν είναι γνωστά στους συμμετέχοντες. Έξι ομάδες συμμετείχαν στην αγγλο-γερμανική εργασία, υποβάλλοντας συνολικά 11 γύρους. Δύο ομάδες συμμετείχαν στην αγγλο-κινεζική εργασία υποβάλλοντας δύο εκτελέσεις η καθεμία. Λόγω της διαφορετικής πηγής/τομέα δεδομένων σε σύγκριση με το παρελθόν (Βικιπαίδεια vs. Τεχνολογία Πληροφοριών), της διαφορετικής ποιότητας των αρχικών μεταφράσεων που πρέπει να διορθωθούν και της εισαγωγής ενός νέου γλωσσικού ζεύγους (Αγγλικά-Κινέζικα), τα αποτελέσματα της φετινής χρονιάς δεν είναι άμεσα συγκρίσιμα με τα πέρυσι. Ωστόσο, και στις δύο γλωσσικές κατευθύνσεις, οι παρατηρήσεις των συμμετεχόντων παρουσιάζουν σημαντικές βελτιώσεις σε σχέση με τα βασικά αποτελέσματα. Στα Αγγλικά-Γερμανικά, το κορυφαίο σύστημα βελτιώνεται έναντι της βάσης κατά τους -11.35 και +16.68 ενώ στα Αγγλικά οι βελτιώσεις είναι αντίστοιχα μέχρι -12.13 TER και +14.57 BLEU. Συνολικά, τα συνεπή κέρδη επισημαίνονται επίσης από τα αποτελέσματα της ανθρώπινης αξιολόγησης, η οποία επιβεβαιώνει την αποτελεσματικότητα του APE για τη βελτίωση της ποιότητας των ΜΤ, ιδίως στον νέο τομέα γενόσημων που επιλέχθηκε για τη φετινή χρονιά.Abstract
Presentamos los resultados de la sexta ronda de la tarea WMT sobre Postedición Automática de MT. La tarea consiste en corregir automáticamente el resultado de un sistema de traducción automática «caja negra» mediante el aprendizaje de las correcciones humanas existentes de diferentes oraciones. Este año, el desafío consistió en corregir los errores presentes en las páginas de Wikipedia en inglés traducidas al alemán y al chino por sistemas de MT neuronales (NMT) de última generación, no adaptados al dominio, desconocidos para los participantes. Seis equipos participaron en la tarea inglés-alemán, presentando un total de 11 carreras. Dos equipos participaron en la tarea inglés-chino presentando 2 carreras cada uno. Debido a i) la diferente fuente/dominio de los datos en comparación con el pasado (Wikipedia frente a tecnología de la información), ii) la diferente calidad de las traducciones iniciales que deben corregirse y iii) la introducción de un nuevo par de idiomas (inglés-chino), los resultados de este año no son directamente comparables con los del año pasado . Sin embargo, en ambas direcciones lingüísticas, las presentaciones de los participantes muestran mejoras considerables con respecto a los resultados de referencia. En inglés y alemán, el sistema mejor clasificado mejora con respecto a la línea de base en -11,35 puntos TER y +16,68 puntos BLEU, mientras que en inglés/chino las mejoras son, respectivamente, de hasta -12,13 puntos TER y +14,57 puntos BLEU. En general, los resultados de la evaluación humana también destacan los avances coherentes, lo que confirma la eficacia de APE para mejorar la calidad de la MT, especialmente en el nuevo dominio genérico seleccionado para la ronda de este año.Abstract
Esitleme WMT ülesande 6. vooru tulemusi MT automaatse järeltöötluse kohta. Ülesanne seisneb mustast kastist masintõlkesüsteemi väljundi automaatses parandamises, õppides erinevate lausete olemasolevatest inimlikest parandustest. Sel aastal seisnes väljakutseks saksa ja hiina keelde tõlgitud Vikipeedia ingliskeelsetel lehekülgedel esinevate vigade parandamine osalejatele tundmatute kaasaegsete, mitte domeeniga kohandatud neuraalsete MT (NMT) süsteemide abil. Inglise-saksa ülesandes osales kuus meeskonda, kes esitasid kokku 11 jooksu. Inglise-Hiina ülesandes osalesid kaks meeskonda, kes esitasid igaühele 2 jooksu. Kuna i) andmeallikas/valdkond on varasemaga võrreldes erinev (Vikipeedia vs Infotehnoloogia), ii) parandatavate esialgsete tõlkete erinev kvaliteet ja iii) uue keelepaari (inglise-hiina) kasutuselevõtt ei ole selle aasta tulemused otseselt võrreldavad eelmise aasta vooruga. Mõlemas keelesuunas on osalejate esitatud märkimisväärselt paranenud võrreldes lähtetulemustega. Inglise-saksa keeles paraneb kõige paremini hinnatud süsteem võrreldes lähtetasemega -11,35 TER ja +16,68 BLEU punkti võrra, samas kui inglise keeles on paranemine vastavalt kuni -12,13 TER ja +14,57 BLEU punkti. Üldiselt rõhutavad ühtset kasu ka inimhindamise tulemused, mis kinnitavad APE tõhusust MT kvaliteedi parandamisel, eriti uues üldises valdkonnas, mis valitakse käesoleva aasta vooruks.Abstract
ما نتیجههای ششمین مرحله عملیات WMT را توسط ویرایش خودکار MT نشان میدهیم. این وظیفه با یاد گرفتن از اصلاح انسانی موجود از جملههای مختلف از سیاه بوکس سیاه استفاده میکند. در این سال، چالش از تعمیر اشتباهی که در صفحه ویکیپدیدی انگلیسی وجود دارند، توسط ایالت-هنر، نه سیستمهای عصبی (NMT) که برای شرکتگران ناشناخته میشوند، به آلمان و چینی ترجمه میشوند. شش تیم در کار انگلیسی و آلمانی شرکت کردند و جمعیت ۱۱ فرایند را ارسال کردند. دو تیم در وظیفه انگلیسی-چینی شرکت میکردند که در هر دو راه میروند. به دلیل i) منبع/دامنههای متفاوت در مقایسه با تکنولوژی اطلاعات گذشته (ویکیپدیا vs اطلاعات) ii) کیفیت متفاوتی از ترجمههای اولیه که به اصلاح میشود و iii) معرفی جفت زبان جدید (انگلیسی-چینی) نتیجههای امسال مستقیماً با گردش سال گذشته قابل ولی در هر دو مسیر زبان، تحویلهای شرکتگران بر روی نتیجههای پایهخط زیادی بهتر شدن را نشان میدهند. در انگلیسی-آلمان، سیستم بالای درجه بالا در خط بنیادی با -11.35 TER و +16.68 BLEU تغییر میدهد، در حالی که در انگلیسی چینی تغییرات به طور مختلف تا -12.13 TER و +14.57 BLEU هستند. در کل، پیروزی هماهنگی از نتایج ارزیابی انسان، که تایید میکند فعالیت APE برای بهترین کیفیت MT، مخصوصا در دامنههای ژنرالی جدید برای این سال انتخاب شده است.Abstract
Esittelemme WMT-tehtävän 6. kierroksen tulokset MT Automatic Post-Editing -osiossa. Tehtävänä on korjata automaattisesti mustan laatikon konekäännösjärjestelmän tuotos oppimalla olemassa olevista ihmisen korjauksista eri lauseisiin. Tänä vuonna haasteena oli korjata englanninkielisten Wikipedia-sivujen virheet, jotka käännettiin saksaksi ja kiinaksi osallistujille tuntemattomien huipputekniikan, ei domain-adaptoitujen neuro-MT (NMT) -järjestelmien avulla. Englannin ja Saksan väliseen tehtävään osallistui kuusi joukkuetta, jotka tekivät yhteensä 11 juoksua. Kaksi joukkuetta osallistui englanti-kiinalaiseen tehtävään tekemällä kukin 2 juoksua. Koska i) tietolähteet/toimialueet poikkeavat aikaisempaan verrattuna (Wikipedia vs. tietotekniikka), ii) korjattavien alkuperäisten käännösten laatu vaihtelee ja iii) uuden kieliparin (englanti-kiina) käyttöönotto, tämän vuoden tulokset eivät ole suoraan vertailukelpoisia viime vuoden kierroksen kanssa. Kummankin kielisuunnan osalta osallistujien lausunnot ovat kuitenkin parantuneet huomattavasti lähtötilanteen tuloksiin verrattuna. Englanninkielisessä ja saksassa korkeimmalla sijalla oleva järjestelmä paranee lähtötasoon verrattuna -11,35 TER-pistettä ja +16,68 BLEU-pistettä, kun taas englantikiinassa parannukset ovat jopa -12,13 TER-pistettä ja +14,57 BLEU-pistettä. Yleisesti ottaen johdonmukaisia hyötyjä korostavat myös ihmisten arvioinnin tulokset, jotka vahvistavat APE:n tehokkuuden MT:n laadun parantamisessa erityisesti uudella yleisluonteisella alalla, joka on valittu tämän vuoden kierrokselle.Abstract
Nous présentons les résultats de la 6ème étape de la tâche WMT sur la post-édition automatique MT. La tâche consiste à corriger automatiquement la sortie d'un système de traduction automatique « boîte noire » en apprenant des corrections humaines existantes de différentes phrases. Cette année, le défi consistait à corriger les erreurs présentes dans les pages Wikipédia en anglais traduites en allemand et en chinois par des systèmes de TA neuronale (NMT) ultramodernes et non adaptés au domaine, inconnus des participants. Six équipes ont participé à l'épreuve anglais-allemand, soumettant un total de 11 points. Deux équipes ont participé à la tâche anglais-chinois en soumettant 2 points chacune. En raison i) de la différence de source/domaine de données par rapport au passé (Wikipédia vs informatique), ii) de la qualité différente des traductions initiales à corriger et iii) de l'introduction d'une nouvelle paire de langues (anglais-chinois), les résultats de cette année ne sont pas directement comparables à ceux de l'année dernière . Toutefois, dans les deux directions linguistiques, les soumissions des participants montrent des améliorations considérables par rapport aux résultats de base. En anglais-allemand, le système le mieux classé s'améliore par rapport à la base de -11,35 points TER et +16,68 points BLEU, tandis qu'en anglais-chinois, les améliorations sont respectivement de -12,13 TER et +14,57 points BLEU. Dans l'ensemble, les gains cohérents sont également mis en évidence par les résultats de l'évaluation humaine, qui confirme l'efficacité de l'APE pour améliorer la qualité de la MT, en particulier dans le nouveau domaine générique sélectionné pour cette année.Abstract
Cuirimid i láthair torthaí an 6ú babhta de thasc WMT ar Iar-Eagarthóireacht Uathoibríoch MT. Is éard atá sa tasc ná an t-aschur ó chóras aistriúcháin meaisín “bosca dubh” a cheartú go huathoibríoch trí fhoghlaim ó cheartúcháin dhaonna atá ann cheana ar abairtí éagsúla. I mbliana, ba é an dúshlán ná na hearráidí a shocrú i leathanaigh Vicipéid Bhéarla a aistríodh go Gearmáinis agus go Sínis ag córais néarúla MT (NMT) úrscothacha nach bhfuil oiriúnaithe ag an bhfearann ar eolas ag na rannpháirtithe. Ghlac sé fhoireann páirt sa tasc Béarla-Gearmáinis, ag cur isteach iomlán de 11 rith. Ghlac dhá fhoireann páirt sa tasc Béarla-Síneach agus chuir siad isteach 2 rith an ceann. Mar gheall ar i) an fhoinse/fhearann difriúil sonraí i gcomparáid leis an am atá caite (Vicipéid vs Teicneolaíocht Faisnéise), ii) cáilíocht éagsúil na n-aistriúchán tosaigh atá le ceartú agus iii) tabhairt isteach péire teanga nua (Béarla-Sínis), níl torthaí na bliana seo inchomparáide go díreach le torthaí na bliana seo caite. Ar an dá threo teanga, áfach, léiríonn aighneachtaí na rannpháirtithe feabhas suntasach ar na torthaí bonnlíne. Maidir le Béarla-Gearmáinis, feabhsaítear an córas barrrangaithe thar an mbunlíne faoi -11.35 TER agus +16.68 pointe BLEU, agus ar an mBéarla-Síneach tá na feabhsuithe suas go dtí -12.13 TER agus +14.57 pointe BLEU faoi seach. Ar an iomlán, leagtar béim freisin ar ghnóthachain chomhleanúnacha ag torthaí na meastóireachta daonna, a dhearbhaíonn éifeachtacht APE chun cáilíocht MT a fheabhsú, go háirithe san fhearann cineálach nua a roghnaíodh do bhabhta na bliana seo.Abstract
Munã halatar da fassaran na 6 na aikin WMT kan MT farat Editing Kayan aiki na ƙunsa da gyare na tsari farat ɗaya na tsari na tsarin tsarin mai shiryarwa na 'boxen-baƙi' da aka sanar da shi daga tsarin mutane masu buƙata. Yin shekara, shirin ya ƙunsa da kure masu gaba cikin harshen Wikimedia pages waɗanda aka fassara zuwa jeruman da China na rubutu, kuma ba da daidain-adaptan neural MT (NMT) system-waɗanda ba'a sani ba. Team 6 sun yi shirin aiki na Ingiriya-Jarman, kuma suka sami tare da jama'a 11 runs. Team biyu suka yi shirin aiki na Ingiriya-China wanda suka bãyar da 2 na tafiyar kõwane. Dukan da aka sammenliki masu yinin data da suka shige (Wikimedia vers information Technical), i i) da nau'in fassarar farko da za'a riga kuma (i) ya introduce wani nau'in harshen sau biyu (Inglizi-China), matsalan wannan bai sami daidai da runnin shekara ta shige. Haƙĩƙa, a kan shiryarwa biyu na harshe, masu gabatar da mushirikai na nuna mafiya ƙari masu girma a matsalan basuɗe. Ga Ingiriya-Jarman, surar ta sarki ya baza ta rufe maimakon da -11.35 TeR da+166.68 BLEU points, kuma a lokacin English, musamman za'a samu-12.13 TeR da+14.57 BLEU points. A jumla, ana ƙayyade fatauci na sambawa da matsayin rabon mutane, mai gaskata Effekt na Apple ta canza tsarin MT, da kuma haske a cikin shekara na yanzu-daman da aka zãɓe wa shekarar wannan shekara.Abstract
אנחנו מציגים את תוצאות הסיבוב השישי של משימה WMT על MT פוסט אוטומטי עורך. The task consists in automatically correcting the output of a 'black-box' machine translation system by learning from existing human corrections of different sentences. This year, the challenge consisted of fixing the errors present in English Wikipedia pages translated into German and Chinese by state-ofthe-art, not domain-adapted neural MT (NMT) systems unknown to participants. שישה קבוצות השתתפו במשימה אנגלית-גרמנית, שלחו בסך הכל 11 רצויות. Two teams participated in the English-Chinese task submitting 2 runs each. בגלל i) המקור/שדה שונה של נתונים בהשוואה לעבר (ויקיפדיה נגד טכנולוגיה מידע), ii) איכות שונה של התרגשות הראשוניות לתקן iii) הכניסה של זוג שפה חדש (אנגלי-סיני), התוצאות של השנה אינן ישירות שוואות עם סיבוב השנה שעברה. However, on both language directions, participants' submissions show considerable improvements over the baseline results. On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on EnglishChinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. Overall, coherent gains are also highlighted by the outcomes of human evaluation, which confirms the effectiveness of APE to improve MT quality, especially in the new generic domain selected for this year's round.Abstract
हम MT स्वचालित पोस्ट-संपादन पर WMT कार्य के 6 वें दौर के परिणाम प्रस्तुत करते हैं। कार्य में विभिन्न वाक्यों के मौजूदा मानव सुधारों से सीखकर स्वचालित रूप से "ब्लैक-बॉक्स" मशीन अनुवाद प्रणाली के आउटपुट को सही करना शामिल है। इस वर्ष, चुनौती में अंग्रेजी विकिपीडिया पृष्ठों में मौजूद त्रुटियों को ठीक करना शामिल था, जो जर्मन और चीनी में स्टेट-ऑफ-द-आर्ट द्वारा अनुवादित थे, न कि डोमेन-अनुकूलित तंत्रिका एमटी (एनएमटी) सिस्टम प्रतिभागियों के लिए अज्ञात। छह टीमों ने अंग्रेजी-जर्मन कार्य में भाग लिया, कुल 11 रन प्रस्तुत किए। दो टीमों ने अंग्रेजी-चीनी कार्य में भाग लिया, जिसमें प्रत्येक ने 2 रन प्रस्तुत किए। i) अतीत (विकिपीडिया बनाम सूचना प्रौद्योगिकी) की तुलना में डेटा के विभिन्न स्रोत / डोमेन के कारण, ii) सही किए जाने वाले प्रारंभिक अनुवादों की विभिन्न गुणवत्ता और iii) एक नई भाषा जोड़ी (अंग्रेजी-चीनी) की शुरुआत, इस वर्ष के परिणाम सीधे पिछले साल के दौर के साथ तुलनीय नहीं हैं। हालांकि, दोनों भाषा निर्देशों पर, प्रतिभागियों की प्रस्तुतियां बेसलाइन परिणामों पर काफी सुधार दिखाती हैं। अंग्रेजी-जर्मन पर, शीर्ष रैंक वाली प्रणाली -11.35 TER और +16.68 BLEU अंकों से बेसलाइन पर सुधार करती है, जबकि इंग्लिशचीनी पर सुधार क्रमशः -12.13 TER और +14.57 BLEU अंक तक हैं। कुल मिलाकर, सुसंगत लाभ भी मानव मूल्यांकन के परिणामों से हाइलाइट किए जाते हैं, जो एमटी गुणवत्ता में सुधार के लिए एपीई की प्रभावशीलता की पुष्टि करता है, विशेष रूप से इस वर्ष के दौर के लिए चुने गए नए जेनेरिक डोमेन में।Abstract
Predstavljamo rezultate 6. runde zadatka WMT-a na automatskom posledištu MT-a. Taj zadatak se sastoji u automatskom korištenju izlaza sustava prevoda mašine "crne kutije" učeći od postojećih ljudskih korekcija različitih rečenica. Ove godine je izazov sastojio od rješavanja grešaka na engleskim Wikipedijskim stranicama prevedena na njemačke i kineske državnim umjetničkim sustavima, a ne na domenu prilagođenim neuralnim MT (NMT) sustavima nepoznatim učesnicima. Šest timova sudjelovalo je u engleskom i njemačkom zadatku, podnivši ukupno 11 trka. Dva timova su sudjelovala u engleskom-kineskom zadatku koji podnosi 2 vodi svaki. Zbog i) različitih izvora/domena podataka u usporedbi s prošlošću (Wikipedia protiv informacione tehnologije), ii) različite kvalitete početnih prevoda koje treba ispraviti i iii) uvođenje novog jezičkog parova (engleski kineski), rezultati ove godine nisu direktno usporedbeni s prošlogodišnjim krugom. Međutim, na obje jezičke upute, podaci učesnika pokazuju značajne poboljšanje u odnosu na početne rezultate. Na engleskom-njemačkom se najviši redoviti sustav poboljšava preko početne linije za -11,35 TER i +16,68 BLEU to čke, dok su na engleskom kineskom poboljšavanje u odnosu na -12,13 TER i +14,57 BLEU točke. U cjelokupnom slučaju, pristojne dobitke također su istaknute rezultatima ljudske procjene, koja potvrđuje učinkovitost APE-a kako bi poboljšala kvalitet MT-a, posebno u novoj generičkoj domenu odabranoj za ovu godinu okrugu.Abstract
Bemutatjuk a WMT feladat 6. fordulójának eredményeit az MT automatikus utószerkesztéssel kapcsolatban. A feladat egy "fekete doboz" gépi fordító rendszer kimenetének automatikus javítása a különböző mondatok meglévő emberi javításaiból. Az idei kihívás az volt, hogy a résztvevők számára ismeretlen, korszerű, nem domain-adaptált neurális MT (NMT) rendszerekkel javítsák az angol Wikipédia oldalain jelen lévő hibákat. Hat csapat vett részt az angol-német feladatban, összesen 11 futást nyújtottak be. Két csapat vett részt az angol-kínai feladatban, melyek mindegyike 2 futást küldtek be. Mivel i) a múlthoz képest eltérő adatforrás/tartomány (Wikipédia vs Információs Technológia), ii) a javítandó kezdeti fordítások eltérő minősége és iii) egy új nyelvpár (angol-kínai) bevezetése miatt az idei eredmények nem hasonlíthatók közvetlenül a tavalyi fordulóhoz. Mindkét nyelvi irányban azonban a résztvevők beadványai jelentős javulást mutatnak az alapvető eredményekhez képest. Az angol-német esetben a legmagasabb rangú rendszer -11,35 TER és +16,68 BLEU ponttal javul a kiinduláshoz képest, az angol kínai esetben pedig -12,13 TER, illetve +14,57 BLEU ponttal. Összességében az emberi értékelés eredményei is kiemelik a koherens eredményeket, amelyek megerősítik az APE hatékonyságát a MT minőségének javítására, különösen az idei fordulóra kiválasztott új generikus területen.Abstract
We present the results of the 6th round of the WMT task on MT Automatic Post-Editing. The task consists in automatically correcting the output of a 'black-box' machine translation system by learning from existing human corrections of different sentences. Այս տարի մարտահրավերն այն էր, որ անգլերեն Վիքիփեդիայի էջերում գտնվող սխալները վերականգնվեցին գերմաներեն և չինական տեխնոլոգիաների միջոցով, ոչ թե բնագավառներով հարմարեցված նյարդային MT (NMT) համակարգերի միջոցով, որոնք մասնակիցնե Six teams participated in the English-German task, submitting a total of 11 runs. Two teams participated in the English-Chinese task submitting 2 runs each. Due to i) the different source/domain of data compared to the past (Wikipedia vs Information Technology), ii) the different quality of the initial translations to be corrected and iii) the introduction of a new language pair (English-Chinese), this year's results are not directly comparable with last year's round. Այնուամենայնիվ, երկու լեզվի ուղղություններում մասնակիցների ներկայացումները ցույց են տալիս նշանակալի բարելավումներ հիմնական արդյունքների համեմատ: On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on EnglishChinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. Overall, coherent gains are also highlighted by the outcomes of human evaluation, which confirms the effectiveness of APE to improve MT quality, especially in the new generic domain selected for this year's round.Abstract
Kami memperkenalkan hasil pusingan ke-6 dari tugas WMT di MT Automatic Post-Editing. The task consists in automatically correcting the output of a 'black-box' machine translation system by learning from existing human corrections of different sentences. Tahun ini, tantangan terdiri dari memperbaiki kesalahan yang ada di halaman Wikipedia Inggris terjemahan ke Jerman dan Cina oleh sistem MT saraf terbaik, tidak beradaptasi domain (NMT) yang tidak dikenal oleh peserta. Enam tim berpartisipasi dalam tugas Inggris-Jerman, mengirim total 11 runs. Two teams participated in the English-Chinese task submitting 2 runs each. Karena i) sumber/domain data yang berbeda dibandingkan dengan masa lalu (Wikipedia vs Information Technology), ii) kualitas yang berbeda dari terjemahan awal yang harus diperbaiki dan iii) perkenalan pasangan bahasa baru (Inggris-Cina), hasil tahun ini tidak secara langsung dibandingkan dengan bulat tahun lalu. Namun, pada kedua arah bahasa, pengiriman peserta menunjukkan peningkatan yang konsiderel atas hasil dasar. Dalam bahasa Inggris-Jerman, sistem tertinggi berkembang di atas dasar dengan -11,35 TER dan +16,68 BLEU poin, sementara pada bahasa Inggris perbaikan secara harfiah sampai -12,13 TER dan +14,57 BLEU poin. Secara umum, keuntungan yang konsisten juga diperkirakan oleh hasil evaluasi manusia, yang mengkonfirmasi efektif APE untuk meningkatkan kualitas MT, terutama dalam domain generik baru yang dipilih untuk bulat tahun ini.Abstract
Presentiamo i risultati del 6° round del compito WMT su MT Automatic Post-Editing. Il compito consiste nel correggere automaticamente l'output di un sistema di traduzione automatica "black-box" imparando dalle correzioni umane esistenti di frasi diverse. Quest'anno, la sfida consisteva nel correggere gli errori presenti nelle pagine Wikipedia in inglese tradotte in tedesco e cinese da sistemi MT neurali all'avanguardia, non adattati al dominio, sconosciuti ai partecipanti. Sei squadre hanno partecipato al compito inglese-tedesco, presentando un totale di 11 gare. Due squadre hanno partecipato al compito inglese-cinese presentando 2 corse ciascuna. A causa di i) la diversa fonte/dominio dei dati rispetto al passato (Wikipedia vs Information Technology), ii) la diversa qualità delle traduzioni iniziali da correggere e iii) l'introduzione di una nuova coppia linguistica (inglese-cinese), i risultati di quest'anno non sono direttamente comparabili con il round dello scorso anno. Tuttavia, in entrambe le direzioni linguistiche, i contributi dei partecipanti mostrano notevoli miglioramenti rispetto ai risultati di base. Sull'inglese-tedesco, il sistema top ranked migliora rispetto al basale di -11,35 TER e +16,68 BLEU punti, mentre sull'inglese cinese i miglioramenti sono rispettivamente fino a -12,13 TER e +14,57 BLEU punti. Nel complesso, i progressi coerenti sono evidenziati anche dai risultati della valutazione umana, che conferma l'efficacia dell'APE per migliorare la qualità della MT, soprattutto nel nuovo dominio generico selezionato per il round di quest'anno.Abstract
MT自動ポストエディットに関するWMTタスクの第6ラウンドの結果を提示します。 タスクは、異なる文章の既存の人間による修正から学習することによって、「ブラックボックス」機械翻訳システムの出力を自動的に修正することです。 今年の課題は、参加者に知られていないドメイン適応型ニューラルMT （ NMT ）システムではなく、最新の技術によってドイツ語と中国語に翻訳された英語のウィキペディアページに存在するエラーを修正することでした。 イングランド・ドイツのタスクフォースには6チームが参加し、合計11回の出走を提出した。 英中2チームが参加し、それぞれ2走を提出した。 I ）過去と比較したデータのソース/ドメインの違い（ウィキペディアvs情報技術）、ii ）修正される初期翻訳の品質の違い、およびiii ）新しい言語ペア（英語-中国語）の導入のため、今年の結果は昨年のラウンドと直接比較できません。 しかし、両方の言語の方向性において、参加者の提出物は、ベースラインの結果よりもかなり改善されていることを示している。 英語とドイツ語では、トップランクのシステムはベースラインよりも-11.35 TERと+16.68 BLEUポイント向上し、英語と中国語ではそれぞれ-12.13 TERと+14.57 BLEUポイント向上します。 全体的に、一貫性のある利得は、特に今年のラウンドのために選択された新しいジェネリックドメインで、MT品質を改善するためのAPEの有効性を確認する人間評価の結果によっても強調されています。Abstract
We nyimpen ono wektu nggawe 6-uwong ning acara WmT ing MT Automatically After-Edit. Mampak sing ngewehi ditambah sistem 'bok-bok' sing otomatik yang dipoleh gambar nganggo perusahaan barang sampeyan karo kapan winih. Wis punika, aku sawar punika dipun nggawe nung akeh salamat kanggo tutunggal neng Peranci bukal bukal bukal ning alaman karo Cainan karo state-of-the-arts, ora domain-adaleteng Neral MT (NMT) sistem sing gak pawartos nang sampeyan ingkang sampeyan. Ana sampeyan sing nganggo barang Inggris-German, sampeyan nganggo 11 sampeyan. Grup durung sampeyan nganggo pawang Inggris-Chinese Tungé i) kayané pernik-pernik/domain dadi sing gawé nggawe karo terjamahan (wiipedya karo Informasi Teknôlogi), i ii) kalitas dianggawe tarjamahan sing dibutuhke tarjamahan karo iii) nggawe geranggap tarjamahan sing dibuté dhéwé (Genghis-Cinês), dadi sing paling dhéwé kuwi padha mêng, dibutêt karo padha tau sing Nanging, nggawe tarjamahan kanggo langkung sampeyan, tarjamahan kanggo ngerasah bantuan liyane Nanging Inggris-Geman, sistem sing paling-uwong telas telas telas telas telas nang -11.30 (telas)karo + 16.60 (blo), sampeyan nganggep Bukakipun, terus kanggo ngerayakno Hyang-Nggris sing bisa dianggo nyebute sampek kang -12.13 (telas) lan + 14.75 (blek). Diwong-wong, koweke nglanggar sampeyan nguasahan kelas nggawe barang kamu nggawe barang uwong, iki dipeneksi aplikasi Jaakan kanggo ngilanggar kalitas MT, ngomong dipeneksi barêng langgar sing gewuterus tambah sing paling dhéwé.Abstract
ჩვენ გავაჩვენეთ WMT დავალების 6-ი პროგრამის შედეგი MT ავტომატური პროგრამის რედაქტირებაში. დავალება ავტომატურად განსხვავებული სიტყვების 'შავ- ბოსტი' მაქინის განსხვავებული სისტემის გამოყენების შემდეგ შექმნა. ამ წლის შეცდომის შეცდომის შეცდომების განსაზღვრება ინგლისური Wikipedia გვერდებში გერმანეთში და ჩინეთში გადაწყენებული წარმოქმების გარეშე, არა დომინური განსაზღვრებული ნეიროლური MT (NMT) სისტემებით შვიდი ჯგუფი ინგლისური-გერმანური დავალებაში დაწყვეტილი, 11 წერტილის სამყარო წერტილი. ორი ჯგუფი ინგლისური-ჩინეთის დავალებაში გადაწყვეტი, რომელიც ორი გადაწყვეტი. i) მონაცემების განსხვავებული მხოლოდ/დიომენტის შეცდომა წინა (ვიკიპედია vs ინფორმაციის ტექნოლოგია), ii) განსხვავებული განსხვავებული წინასწორეების განსხვავება და iii) ახალი ენის ზოგების შეცდომა (ანგლისური-კინელი), ამ წლის მაგრამ, ორივე ენის დაწყებაში, მოთავსწავლებელების დაწყებაში მნიშვნელოვანი გაუკეთებების შესახებ. ანგლისური-გერმანური სისტემაში უფრო დიდი სისტემა უფრო მეტადება -11,35 TER და +16,68 BLEU წერტილებით, მაგრამ ანგლისური შინაში უფრო მეტადება -12,13 TER და +14,57 BLEU წერტილებით. ყველაფერად, შესაძლებელი წარმოდგენების შესაძლებლობაც ადამიანის განსაზღვრებისთვის გამოყენებულია, რომელიც APE-ის ეფექტიურობას დააწყებენ MT-ის გაუფლება, განსაკუთრებით ახალი საერთო დიომიAbstract
Біз WMT тапсырманың 6- ші rundu MT автоматты түрде өңдеу үшін тапсырманың нәтижесін келтіреміз. Тапсырма басқа сөздерді түзету арқылы 'қара жазу' компьютерінің шығысын автоматты түрде түзету жүйесінде болады. Бұл жыл, ағылшынша Википедия парақтарында неміс мен қытайшаға аударылған қателерді түзету мәселесі болды. Қатысушыларға беймәлім емес, доменге адаптацияланған невралдық MT (NMT) жүйелері. Алты топ ағылшын- неміс тапсырмасына қатысу үшін 11 орынды жібереді. Екі топ ағылшын- қытайлық тапсырмасына 2 жұмыс істейді. i) өткен (Википедия және мәлімет технологиясы), ii) бастапқы аудармалардың әртүрлі сапасы мен iii) жаңа тіл екісін (ағылшын- қытайлық) кітапшасының (ағылшын- қытайлық) кітапшасының нәтижесі сәйкес келмейді. Бірақ қатысушылардың екі тіл бағыттарында негізгі жолдың нәтижелерінен көп жақсартуларын көрсетеді. Ағылшын- неміс тілінде жоғары жолдар жүйесі негізгі жолда - 11, 35 МЕР және +16, 68 БЛЕС нүктелерімен жақсы жасайды, бірақ ағылшын тілінде жақсы жасау - 12, 13 МЕР және +14, 57 БЛЕС нүктелері болады. Жалпы, адамдардың оқиғаларының нәтижелері қолданылады. Бұл APE-нің MT сапасын жақсарту үшін, осылай-ақ осы жылдың жаңа жалпы доменде таңдалған жалпы жалпы доменге дейін қолданылады.Abstract
우리는 제6차 WMT 기계 번역 자동 후기 편집 임무의 결과를 보여 주었다.이 임무는 기존의 인류가 서로 다른 문장에 대한 정정을 학습함으로써 블랙박스 기계번역시스템의 출력을 자동으로 정정하는 것을 포함한다.올해 도전은 참여자가 알 수 없는 영역이 신경기계번역(NMT) 시스템에 적응하는 것이 아니라 최신 기술로 독일어와 중국어로 번역된 영문 위키백과 페이지에 존재하는 오류를 복구하는 것이다.여섯 팀은 영덕 임무에 참가해 모두 11점을 제출했다.두 그룹은 중국어와 영문 임무에 참가했고 각 그룹은 2점씩 제출했다.i) 데이터 출처/영역이 과거와 다르기 때문에(위키백과와 정보기술), ii가 수정해야 할 초기 번역의 질이 다르고, iii가 새로운 언어대(영한)를 도입했기 때문에 올해의 결과는 작년의 결과와 직접 비교할 수 없다.그러나 두 언어 방향에서 참여자가 제출한 내용은 모두 기선 결과보다 많이 개선되었다.영어 독일어에서는 상위 시스템이 기준선보다 -11.35점, +16.68점 높아졌고, 영어 중국어에서는 상위 시스템이 각각 -12.13점, +14.57점 올랐다.전체적으로 인류 평가 결과도 일치성 성과를 두드러지게 한 것은 APE가 기계 번역의 질을 높이는 데 있어 유효성을 입증했고 특히 올해 선정된 새로운 유니버설 분야가 그렇다.Abstract
Mes pristatome 6-ojo WMT užduoties MT automatinio po redagavimo rezultatus. The task consists in automatically correcting the output of a 'black-box' machine translation system by learning from existing human corrections of different sentences. Šiais metais iššūkis buvo susijęs su klaidų, esančių anglų Vikipedijos puslapiuose, ištaisymu, kurie buvo išversti į vokiečių ir kinų kalbas pagal naujausias, nepritaikytas prie domeno nepriklausančias neurologines MT (NMT) sistemas, nežinomas dalyviams. Šešios komandos dalyvavo Anglijos ir Vokietijos užduotyje ir iš viso pateikė 11 runs. Two teams participated in the English-Chinese task submitting 2 runs each. Dėl i) skirtingo duomenų šaltinio ir (arba) srities, palyginti su praeitimi (Wikipedia vs. Information Technology), ii) skirtingos pradinių vertimų, kurie turi būti pataisyti, kokybės ir iii) naujos kalbos poros (anglų ir kinų), ši ų metų rezultatai nėra tiesiogiai palyginami su praėjusiais metais. Tačiau abiejų kalbų krypčių požiūriu dalyvių pastabos rodo, kad pagrindiniai rezultatai gerokai pagerėjo. Anglų ir vokiečių kalbomis aukščiausio lygio sistema, palyginti su pradiniu lygiu, pagerėja -11,35 TER ir +16,68 BLEU taškų, o anglų ir Kinijos atveju pagerėjimai atitinkamai siekia -12,13 TER ir +14,57 BLEU taškų. Apskritai nuoseklią naudą taip pat pabrėžia žmogaus vertinimo rezultatai, kurie patvirtina APE veiksmingumą gerinant MT kokybę, ypač naujoje bendrojoje srityje, atrinktoje šiems metams.Abstract
Ги претставуваме резултатите од 6-тиот круг на WMT задачата на MT Автоматско пост-уредување. Оваа задача се состои од автоматско корекција на излезот на машинскиот преведувачки систем „црна кутија“ со учење од постојните човечки корекции на различни реченици. Оваа година предизвикот се состои од поправање на грешките на англиските страници на Википедија преведени на германски и кинески од најсовремените, не адаптирани на домен неурални мет (НМТ) системи непознати за учесниците. Шест тимови учествуваа во англиско-германската задача, пренесувајќи вкупно 11 трки. Двајца тима учествуваа во англиско-кинеската задача која испраќа две работи секој. Поради i) различен извор/домен на податоци во споредба со минатото (Википедија против информатичка технологија), ii) различен квалитет на првичните преводи кои треба да се коригираат и iii) воведувањето на нов пар јазици (англиско-кинески), резултатите од оваа година не се директно споредливи со минатогодишниот круг. Сепак, во однос на двете јазички насоки, поднесувањата на учесниците покажуваат значителни подобрувања во однос на основните резултати. На англиско-германски, најрангираниот систем се подобрува во однос на основата за -11,35 ТЕР и +16,68 БЛЕ поени, додека на англиско-кинески подобрувањата достигнуваат -12,13 ТЕР и +14,57 БЛЕ поени. Вкупно, коеорентните добивки се истакнати и од резултатите на човечката проценка, која ја потврдува ефикасноста на АПЕ за подобрување на квалитетот на МТ, особено во новиот генерален домен избран за овогодинешниот круг.Abstract
എംടി സ്വയം എഡിറ്ററിങ്ങില് WMT ജോലിയുടെ ആറാം റൌണ്ടിന്റെ ഫലങ്ങള് ഞങ്ങള് കാണിക്കുന്നു. വ്യത്യസ്തമായ വാക്കുകളില് നിന്നും നിലവിലുള്ള മനുഷ്യരുടെ പരിശോധനങ്ങളില് നിന്നും പഠിക്കുന്നതിനാല് 'കറുത്ത- ബോക്സ് ഈ വര്ഷം, ഇംഗ്ലീഷ് വിക്കിപിഡിയയിലെ തെറ്റുകള് പരിഹരിക്കുന്നതിനായി വ്യാല്ക്കിപ്പീഡിയയില് ഉണ്ടായിരുന്നു. രാഷ്ട്രീയ-ഫാര്ട്ടില് പരിഭാഷപ്പെട ആറു ടീം ഇംഗ്ലീഷ്-ജര്മ്മന് ജോലിയില് പങ്കുചേര്ന്നു, ഒരു മൊത്തം 11 റോണ് കൊടുക്കുന്നു. രണ്ടു ടീം ഓരോരുത്തരും ഓടിക്കൊണ്ട് ഇംഗ്ലീഷ്-ചൈനീസ് ജോലിയില് പങ്കുചേര്ന്നു. ആദ്യത്തെ പരിഭാഷകള് ശരിയാക്കാനുള്ള ആദ്യത്തെ പരിഭാഷകളുടെ വ്യത്യസ്തമായ സ്രോതസ്സ്/ഡോമെന് (വിക്കിപിഡിയ vs വിവരങ്ങള് ടെക്നോളജി), i i) ഒരു പുതിയ ഭാഷ ജോടിയുടെ (ഇംഗ്ലീഷ്-ചൈനീസ്) ന എങ്കിലും ഭാഷയുടെ രണ്ടു നേര്വഴിയില് പങ്കാളികളുടെ സമര്പ്പണങ്ങള് ബെസ്റ്റ്ലൈന് ഫലങ്ങളില് ഏറ്റവും മെച്ചപ്പെട ഇംഗ്ലീഷ്-ജര്മ്മനില് -11. 35 ടെറിയും 16. 68 ബെലിയു പോയിന്റുകളും മുകളില് ഉയര്ത്തുന്ന സിസ്റ്റം മുന്കൂട്ടുന്നു. ഇംഗ്ലീഷ് ചൈനീസില് മെച്ചപ്പെടുത്തുന്നത് മൊത്തം, മനുഷ്യരുടെ വിലയ്ക്കുള്ള ഫലങ്ങളുടെ കൂട്ടത്തില് കൂടുതല് കാണിച്ചുകൊടുക്കുന്നു. അത് എംടി ഗുണത്തെ മെച്ചപ്പെടുത്തുന്നതിന്റെ പ്രാവAbstract
Бид WMT ажлын 6-р рууны үр дүнг MT-ийн автоматтын Post-Editing-д гаргаж байна. Энэ үйл ажил нь өөр өгүүлбэрээс суралцаж буй хүн төрөлхтний зөвшөөрүүлэхээс автоматаар хар-хайрцаг' машины орчуулах системийн үр дүнг засах болно. Энэ жил Англи хэлний Wikipedia хуудас дээр Герман болон Хятад улс орнуудын хувьд орчуулагдсан алдаа засах сорилт нь оролцогчдын хувьд алдаа засах байсан. Дөрвөн баг Англи-Германы ажил дээр оролцож, нийт 11 давхар нийтэд оролцсон. Хоёр баг Англи-Хятад даалгавраас 2 даалгавраар оролцсон. i) өнгөрсөн (Википедиа эсвэл мэдээллийн технологийг харьцуулахад өөр өөр эх үүсвэр/тоо баримт), ii) эхний хэл хоёр (Англи-Хятад) шинэ хэл хоёрын танилцуулалт нь өнгөрсөн жилийн турш шууд харьцуулагдахгүй. Гэхдээ хоёр хэл замаар оролцогчдын хүлээн зөвшөөрөл суурь шугамын үр дүн дээр маш их сайжруулагддаг. Англи-Германы хувьд хамгийн өндөр дүрс систем нь суурь шугам дээр -11,35 ДЕР болон +16,68 БЛЕС цэг дээр сайжруулдаг. Англи хэлний хувьд сайжруулалт нь -12,13 ДЕР болон +14,57 БЛЕС цэг дээр байдаг. Ихэнхдээ, хүн төрөлхтний оюун шалгалтын үр дүнээс хамааралтай ашиг нь МТ-ын сайн сайн сайжруулахын тулд APE-ын үр дүнг тодорхойлдог. Ялангуяа энэ жилийн турш сонгогдсон шинэ ерөнхий хэмжээнд ашиглаAbstract
Kami memperkenalkan hasil pusingan ke-6 tugas WMT pada MT Automatic Post-Editing. Tugas ini terdiri dalam membetulkan output sistem terjemahan mesin 'kotak hitam' secara automatik dengan belajar dari pembetulan manusia yang wujud bagi kalimat yang berbeza. Tahun ini, cabaran terdiri daripada memperbaiki ralat yang ada dalam halaman Wikipedia Inggeris terjemahan ke Jerman dan Cina oleh sistem MT saraf yang tidak disesuaikan dengan domain (NMT) yang tidak diketahui oleh peserta. Enam pasukan berpartisipasi dalam tugas Inggeris-Jerman, menghantar total 11 jalanan. Dua pasukan berpartisipasi dalam tugas Inggeris-Cina menghantar 2 berjalan masing-masing. Due to i) the different source/domain of data compared to the past (Wikipedia vs Information Technology), ii) the different quality of the initial translations to be corrected and iii) the introduction of a new language pair (English-Chinese), this year's results are not directly comparable with last year's round. Namun, pada kedua-dua arah bahasa, penghantaran peserta menunjukkan peningkatan yang besar atas hasil asas. Dalam bahasa Inggeris-Jerman, sistem tertinggi tertinggi meningkat atas dasar dasar dengan -11.35 TER dan +16.68 titik BLEU, sementara pada bahasa Inggeris peningkatan tersebut sehingga -12.13 TER dan +14.57 titik BLEU. Secara keseluruhan, keuntungan konsisten juga ditandai oleh hasil penilaian manusia, yang mengesahkan kegunaan APE untuk meningkatkan kualiti MT, terutama dalam domain generik baru yang dipilih untuk bulatan tahun ini.Abstract
Aħna nippreżentaw ir-riżultati tas-sitt sessjoni tal-kompitu WMT dwar MT Automatic Post-Editing. Il-kompitu jikkonsisti fil-korrezzjoni awtomatika tal-output ta’ sistema ta’ traduzzjoni tal-magna “black-box” billi jitgħallem minn korrezzjonijiet umani eżistenti ta’ sentenzi differenti. Din is-sena, l-isfida kienet tikkonsisti fl-iffissar tal-iżbalji preżenti fil-paġni Ingliżi tal-Wikipedia tradotti fil-Ġermaniż u ċ-Ċiniż minn sistemi moderni mhux adattati għad-dominju MT (NMT) mhux magħrufa għall-parteċipanti. Sitt timijiet ipparteċipaw fil-kompitu Ingliż-Ġermaniż, li ppreżentaw total ta’ 11-il runs. Żewġ timijiet ipparteċipaw fil-kompitu Ingliż-Ċiniż li ssottomettew żewġ eżerċizzji kull wieħed. Minħabba i) i s-sors/dominju differenti tad-dejta meta mqabbel mal-passat (Wikipedia vs Information Technology), ii) il-kwalità differenti tat-traduzzjonijiet inizjali li għandhom jiġu kkoreġuti u iii) l-introduzzjoni ta’ par ġdid ta’ lingwi (Ingliż-Ċiniż), ir-riżultati ta’ din is-sena mhumiex direttament komparabbli mar-round tas-sena l-oħra. Madankollu, fuq iż-żewġ direzzjonijiet lingwistiċi, is-sottomissjonijiet tal-parteċipanti juru titjib konsiderevoli fir-riżultati tal-linja bażi. Fuq l-Ingliż-Ġermaniż, is-sistema tal-ogħla klassifikazzjoni titjieb fuq il-linja bażi b’ -11.35 TER u +16.68 punti BLEU, filwaqt li fuq l-Ingliż-Ċiniż it-titjib huwa rispettivament sa -12.13 TER u +14.57 punti BLEU. B’mod ġenerali, il-kisbiet koerenti huma enfasizzati wkoll mir-riżultati tal-evalwazzjoni umana, li tikkonferma l-effettività tal-APE biex tittejjeb il-kwalità tal-MT, speċjalment fid-dominju ġeneriku l-ġdid magħżul għal din is-sena.Abstract
We presenteren de resultaten van de 6e ronde van de WMT taak op MT Automatic Post-Editing. De taak bestaat in het automatisch corrigeren van de output van een 'black-box' machinevertaalsysteem door te leren van bestaande menselijke correcties van verschillende zinnen. Dit jaar bestond de uitdaging uit het verhelpen van de fouten die aanwezig waren in de Engelse Wikipedia pagina's vertaald naar het Duits en Chinees door state-of-art, niet domein-aangepaste neurale MT (NMT) systemen onbekend voor deelnemers. Zes teams namen deel aan de Engels-Duitse taak en leverden in totaal elf runs in. Twee teams namen deel aan de Engels-Chinese taak en leverden elk twee runs op. Vanwege i) de verschillende bron/domein van gegevens ten opzichte van het verleden (Wikipedia vs. Informatietechnologie), ii) de verschillende kwaliteit van de eerste te corrigeren vertalingen en iii) de introductie van een nieuw taalpaar (Engels-Chinees), zijn de resultaten van dit jaar niet direct vergelijkbaar met vorig jaar. Op beide taalrichtingen vertonen de inzendingen van de deelnemers echter aanzienlijke verbeteringen ten opzichte van de basisresultaten. Op Engels-Duits verbetert het best gerangschikte systeem ten opzichte van de baseline met -11.35 TER en +16.68 BLEU punten, terwijl op EngelsChinees de verbeteringen respectievelijk -12.13 TER en +14.57 BLEU punten zijn. Over het algemeen worden de coherente winsten ook benadrukt door de resultaten van menselijke evaluatie, die de effectiviteit van APE om de MT-kwaliteit te verbeteren, met name in het nieuwe generieke domein dat dit jaar is geselecteerd.Abstract
Vi viser resultatet av det 6. runda av WMT- oppgåva på MT- automatisk post- redigering. Oppgåva inneheld i automatisk korrigering av utdata av ein « svart boks » - maskinsomsetjingssystem ved å læra frå eksisterande menneske korrigeringar av ulike setningar. Dette året har utfordringen av å retta feilene som finst i engelsk Wikipedia-sider omsett til tysk og kinesisk ved tilstanden av kunsten, ikkje domenetilpassa neural MT (NMT) system ukjend til deltakarar. Sekst grupper delta i engelsk-tysk oppgåve og sender totalt 11 køyr. To grupper delta i engelsk-kinesisk oppgåve som sender 2 køyrer kvar. I grunn av i) den ulike kjelde/domenet av data sammenlignet med tidlegare (Wikipedia vs Information Technology), ii) den ulike kvaliteten til den opphavlege omsetjinga som skal korrigerast og iii) introduksjonen av ein ny språkopar (engelsk kinesisk), resultatet til denne året er ikkje direkte sammenlignbar med den siste årene runda. Med begge språkkretningar viser likevel deltakarane mykje forbedringar over grunnlinjesresultatene. På engelsk-tysk forbedrar den øvre rangerte systemet over baseline med -11,35 TER og +16,68 BLEU-punkt, mens på engelsk kinesisk er forbedringane opp til -12,13 TER og +14,57 BLEU-punkt. Generelt er det samsvarende oppnår også markert av resultatet av menneskelige evaluering, som stadfestar effektiviteten av APE for å forbetra MT-kvalitet, spesielt i den nye generiske domenet som er valde for året.Abstract
Przedstawiamy wyniki szóstej rundy zadania WMT na MT Automatic Post-Editing. Zadanie polega na automatycznej korekcji wyników systemu tłumaczenia maszynowego "czarnej skrzynki" poprzez uczenie się na istniejących poprawkach różnych zdań ludzkich. W tym roku wyzwanie polegało na naprawieniu błędów występujących na angielskich stronach Wikipedii przetłumaczonych na język niemiecki i chiński za pomocą najnowocześniejszych, nie dostosowanych do domeny systemów neuronowych MT (NMT) nieznanych uczestnikom. W zadaniu angielsko-niemieckim uczestniczyło sześć zespołów, zgłaszając łącznie jedenaście biegów. W zadaniu angielsko-chińskim uczestniczyły dwie zespoły, składając każdy z nich dwa biegi. Ze względu na i) różne źródło/domenę danych w porównaniu z przeszłością (Wikipedia vs Informatyka), ii) różną jakość pierwotnych tłumaczeń, które mają być skorygowane oraz iii) wprowadzenie nowej pary językowej (angielsko-chiński), tegoroczne wyniki nie są bezpośrednio porównywalne z ubiegłoroczną. Jednakże w obu kierunkach językowych zgłoszenia uczestników wykazują znaczną poprawę w stosunku do wyników podstawowych. W przypadku angielsko-niemieckiego najwyższej klasyfikacji system poprawia się w porównaniu z linią bazową o punkty -11.35 TER i +16.68 BLEU, podczas gdy w angielskich poprawki wynoszą odpowiednio do punktów -12.13 TER i +14.57 BLEU. Ogólnie rzecz biorąc, spójne zyski podkreślają również wyniki oceny przez ludzi, co potwierdza skuteczność APE w zakresie poprawy jakości MT, zwłaszcza w nowej dziedzinie generycznej wybranej na tegoroczną rundę.Abstract
Apresentamos os resultados da 6ª rodada da tarefa WMT em MT Automatic Post-Editing. A tarefa consiste em corrigir automaticamente a saída de um sistema de tradução automática “caixa preta” aprendendo com as correções humanas existentes de diferentes frases. Este ano, o desafio consistiu em corrigir os erros presentes nas páginas da Wikipedia em inglês traduzidas para o alemão e o chinês por sistemas de MT neural (NMT) de última geração, não adaptados ao domínio, desconhecidos dos participantes. Seis equipes participaram da prova inglês-alemã, apresentando um total de 11 corridas. Duas equipes participaram da tarefa inglês-chinesa apresentando 2 corridas cada. Devido i) à diferente fonte/domínio de dados em relação ao passado (Wikipedia vs Tecnologia da Informação), ii) à qualidade diferente das traduções iniciais a serem corrigidas e iii) à introdução de um novo par de idiomas (inglês-chinês), os resultados deste ano não são diretamente comparáveis com a rodada do ano passado. No entanto, em ambas as direções linguísticas, os envios dos participantes mostram melhorias consideráveis em relação aos resultados da linha de base. No inglês-alemão, o sistema de classificação superior melhora em relação à linha de base em -11,35 TER e +16,68 pontos BLEU, enquanto no inglês chinês as melhorias são, respectivamente, até -12,13 TER e +14,57 pontos BLEU. No geral, os ganhos coerentes também são destacados pelos resultados da avaliação humana, que confirma a eficácia do APE para melhorar a qualidade do MT, especialmente no novo domínio genérico selecionado para a rodada deste ano.Abstract
Vă prezentăm rezultatele celei de-a 6-a runde a sarcinii WMT pe MT Automatic Post-Editing. Sarcina constă în corectarea automată a rezultatelor unui sistem de traducere automată "cutie neagră" prin învățarea din corecțiile umane existente ale diferitelor propoziții. În acest an, provocarea a constat în remedierea erorilor prezente în paginile Wikipedia în limba engleză traduse în germană și chineză de sisteme MT neurale de ultimă generație, nu adaptate domeniului, necunoscute participanților. Șase echipe au participat la sarcina engleză-germană, trimițând un total de 11 run-uri. Două echipe au participat la sarcina engleză-chineză trimițând câte două rulări fiecare. Datorită i) sursei/domeniului diferit de date comparativ cu trecutul (Wikipedia vs Tehnologia Informației), ii) calității diferite a traducerilor inițiale care trebuie corectate și iii) introducerii unei noi perechi de limbi (engleză-chineză), rezultatele din acest an nu sunt direct comparabile cu runda de anul trecut. Cu toate acestea, în ambele direcții lingvistice, observațiile participanților arată îmbunătățiri considerabile față de rezultatele de referință. La engleză-germană, sistemul de top clasat se îmbunătățește față de bază cu -11.35 TER și +16.68 puncte BLEU, în timp ce la engleză chineză îmbunătățirile sunt de până la -12.13 TER și respectiv +14.57 puncte BLEU. În general, câștigurile coerente sunt evidențiate și de rezultatele evaluării umane, care confirmă eficacitatea APE în îmbunătățirea calității MT, în special în noul domeniu generic selectat pentru runda din acest an.Abstract
Представляем результаты 6 раунда задачи WMT на MT Automatic Post-Editing. Задача заключается в автоматической коррекции вывода системы машинного перевода «черного ящика» путем изучения существующих человеческих коррекций различных предложений. В этом году вызов заключался в исправлении ошибок, присутствующих на страницах английской Википедии, переведенных на немецкий и китайский языки с помощью неадаптированных к домену нейронных систем MT (NMT), неизвестных участникам. Шесть команд приняли участие в англо-немецкой задаче, представив в общей сложности 11 заездов. В английско-китайском задании участвовали две команды, представившие по 2 прохода. Из-за i) различий в источнике/домене данных по сравнению с прошлым (Википедия против информационных технологий), ii) различий в качестве первоначальных переводов, которые необходимо исправить, и iii) введения новой языковой пары (английский-китайский) результаты этого года не сопоставимы напрямую с результатами прошлогоднего цикла. Однако по обоим языковым направлениям представленные участниками материалы свидетельствуют о значительном улучшении по сравнению с исходными результатами. На англо-немецкой системе верхний рейтинг улучшается по сравнению с базовой на -11,35 ТЕР и +16,68 BLEU баллов, в то время как на английско-китайской улучшается соответственно до -12,13 ТЕР и +14,57 BLEU баллов. В целом, согласованные достижения также подчеркиваются результатами человеческой оценки, которые подтверждают эффективность APE для улучшения качества MT, особенно в новой общей области, выбранной для раунда этого года.Abstract
අපි MT ස්වයංක්රීය පොස්ට් සංපාදනය කරන්නේ WMT වැඩේ 6වෙනි රාන්ඩ් එකේ ප්රතිප්රතිප්රතිප්රතිප්ර කාර්ය ස්වයංක්රමයෙන් 'කළ- බොක්ස්' පද්ධතිය භාවිත පද්ධතියක් ස්වයංක්රමය කරන්න ස්වයංක්රියාවිතයෙන මේ අවුරුද්දේ, ඉංග්රීසි විකිපිඩියා පිටුම් වලින් ජර්මන් සහ චීනි වලින් වලින් ප්රවේශය සඳහා ප්රවේශය සඳහා ප්රවේශය සඳහා ප්රවේශය සඳහ කණ්ඩායම් හයක් ඉංග්රීසිය-ජර්මන් වැඩේ සම්පූර්ණයෙන් පැමිණිලි කරනවා. කණ්ඩායම් දෙකක් ඉංග්රීසිය-චීනි වැඩේ එක්කෙනෙක් දාන්න පුළුවන්. i) වෙනස් ප්රමාණය/ඩොමේනියාව අතීතය (විකිපිඩියා සහ තොරතුරු තොරතුරු තොරතුරු සඳහා සම්බන්ධ වෙනස් විදිහට (විකිපිඩියා සහ තොරතුරු තොරතුරු තොරතුරු සඳහා නමුත්, භාෂාව දෙන්නම් ප්රතිකාරයෝ පිළිබඳින් ප්රතිකාරයෝ ගැන ප්රතිකාරයෝ ප්රතිකාරයෝ ප ඉංග්රීසිය-ජර්මාන්සියේ උපස්ථ පද්ධතිය ප්රමාණය -11.35 TER සහ +16.68 BLUE ප්රමාණ වලින් වැඩි වෙනවා, ඉංග්රීසියානු චීන්සියානු වලින් වැඩි වැ සම්පූර්ණයෙන්, සම්පූර්ණයි, මිනිස්සු විශ්ලේෂණයේ ප්රතිචාරයෙන් ප්රතිශාලනය කරනවා, ඒකෙන් APE ගේ විශේෂතාවට MT කුළුවත් වැAbstract
Predstavljamo rezultate 6. kroga naloge WMT na MT samodejnem post-urejanju. Naloga vključuje samodejno popravljanje rezultatov sistema strojnega prevajanja "črne škatle" z učenjem iz obstoječih človeških popravkov različnih stavkov. Letos je bil izziv popravljanje napak, prisotnih na angleških Wikipedijskih straneh, prevedenih v nemščino in kitajščino, po najsodobnejših, ne domensko prilagojenih nevronskih MT (NMT) sistemih, ki jih udeleženci ne poznajo. V angleško-nemški nalogi je sodelovalo šest ekip, ki so jih skupaj oddali 11 tekov. Pri angleško-kitajski nalogi sta sodelovali dve ekipi, ki sta poslali po 2 teku. Zaradi i) različnega vira/domena podatkov v primerjavi s preteklostjo (Wikipedija proti informacijski tehnologiji), ii) različne kakovosti začetnih prevodov, ki jih je treba popraviti, in iii) uvedbe novega jezikovnega pare (angleščina-kitajščina), letošnji rezultati niso neposredno primerljivi z lanskim krogom. Vendar pa v obeh jezikovnih smereh prijave udeležencev kažejo precejšnje izboljšave v primerjavi z osnovnimi rezultati. V angleško-nemščini se najbolj uvrščeni sistem izboljša glede na izhodišče za -11,35 točke TER in +16,68 točke BLEU, v angleščini kitajščini pa so izboljšave do -12,13 točke TER in +14,57 točke BLEU. Na splošno skladne koristi poudarjajo tudi rezultati ocenjevanja ljudi, ki potrjujejo učinkovitost APE za izboljšanje kakovosti MT, zlasti na novem generičnem področju, izbranem za letošnji krog.Abstract
Waxaan soo saaraynaa dhamaadka 6aad ee shaqada WMT ee MT Automatic Post-Editing. Shaqadu wuxuu ku qoran yahay hagaajinta midhaha lagu qorayo qoraalka machine-box-madow, marka aad ka barato hagitaanka biniaadamka oo kala duduwan erayo kala duduwan. Sannadan, dhibaatada waxaa ka mid ah hagitaanka khaladaha ku yaal bogagga Ingiriiska Wikipedia ee lagu turjumay Jarmal iyo Shiino, taasoo lagu qoray dowlad-of the-art, ma aha nidaam-adapted neural MT (NMT) ee aan aqoon kuwa ka shaqeeya. Lix koox ayaa ka qeybqaaday shaqada Ingiriiska-Jarmalka, wuxuuna sameynayay 11 runood oo dhan. Laba kooxood waxay ka qeybqaadatay shaqada Ingiriiska-Shiino oo keena 2 mid ah. Taas darteed (i) asalkii kala duduwan/domain ee macluumaadka oo la barbaran jiray hore (Wikipedia vs Info Technology), ii) qiimaha kala duduwan tarjumaadka hore oo la hagaajiyo iyo iii) soo saaridda labada luqada cusub (Ingiriis-Chinese), fashihiisa sanadkan si toos ah uma dhigo wareegga sannadkii hore. Si kastaba ha ahaatee labada kooxaha luqada ah waxaa ka muuqda koob-horumarinta ku saabsan dhamaadka aasaasiga ah. On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on EnglishChinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. Inta caadiga ah waxaa sidoo kale ku qoran faa'iidada kaartaynta biniaadamka, kaas oo xaqiijiya awoodda APE in la hagaajiyo qiimaha MT, khusuusan goobta cusub ee sanadkan la doortay.Abstract
Ne paraqesim rezultatet e raundit të gjashtë të detyrës WMT në MT Automatic Post-Editing. The task consists in automatically correcting the output of a 'black-box' machine translation system by learning from existing human corrections of different sentences. This year, the challenge consisted of fixing the errors present in English Wikipedia pages translated into German and Chinese by state-ofthe-art, not domain-adapted neural MT (NMT) systems unknown to participants. Six teams participated in the English-German task, submitting a total of 11 runs. Two teams participated in the English-Chinese task submitting 2 runs each. Për shkak të i) burimit/domenit të ndryshëm të të dhënave krahasuar me të kaluarën (Wikipedia vs Information Technology), ii) cilës i s ë së ndryshme të përkthimeve fillestare që duhet korrigjuar dhe iii) futjes së një çifti të ri gjuhësh (anglisht-kinez), rezultatet e këtij viti nuk janë drejtpërdrejt të krahasueshme me raundin e vitit të kaluar. However, on both language directions, participants' submissions show considerable improvements over the baseline results. On English-German, the top ranked system improves over the baseline by -11.35 TER and +16.68 BLEU points, while on EnglishChinese the improvements are respectively up to -12.13 TER and +14.57 BLEU points. Overall, coherent gains are also highlighted by the outcomes of human evaluation, which confirms the effectiveness of APE to improve MT quality, especially in the new generic domain selected for this year's round.Abstract
Predstavljamo rezultate 6. runde WMT zadatka na automatskom posledištu MT-a. Taj zadatak se sastoji u automatskom korištenju izlaza "crne kutije" sistema prevoda mašine učeći od postojećih ljudskih korekcija različitih rečenica. Ove godine je izazov sastavio od popravljanja grešaka na engleskim Wikipedijskim stranicama prevedena na njemačke i kineske državnim umjetničkim sistemima, a ne na domenu prilagođenim neuralnim MT (NMT) sistemima nepoznatim učesnicima. Šest timova sudjelovalo je u engleskom-nemačkom zadatku, podnivši ukupno 11 trka. Dva timova su sudjelovala u engleskom-kineskom zadatku koji podnosi 2 vode svaki. Zbog i) različitih izvora/domena podataka u usporedbi s prošlošću (Wikipedia protiv informacione tehnologije), ii) različite kvalitete početnih prevoda koje treba ispraviti i iii) uvođenje novog jezičkog parova (engleski kineski), rezultati ove godine nisu direktno usporedni s a prošlogodišnjim krugom. Međutim, na obje jezičke upute, podaci učesnika pokazuju značajne poboljšanje u odnosu na početne rezultate. Na engleskom-njemačkom, najviši redoviti sistem se poboljšava preko početne linije za -11,35 TER i +16,68 BLEU to čke, a na engleskom kineskom su poboljšanja u odnosu na -12,13 TER i +14,57 BLEU točke. Uglavnom, saslušni dobiti su takođe istaknuti rezultatima ljudske procjene, koja potvrđuje učinkovitost APE-a da bi poboljšala kvalitet MT-a, posebno u novom generičkom domenu odabranom za ovu godinu okrugu.Abstract
Vi presenterar resultaten av den sjätte omgången av WMT-uppgiften om MT Automatic Post-Editing. Uppgiften består i att automatiskt korrigera resultatet av en "svart låda" maskinöversättningssystem genom att lära sig av befintliga mänskliga korrigeringar av olika meningar. I år bestod utmaningen av att åtgärda de fel som finns på engelska Wikipedia sidor översatta till tyska och kinesiska av toppmoderna, inte domänanpassade neurala MT (NMT) system okända för deltagarna. Sex lag deltog i den engelsk-tyska uppgiften och lämnade in totalt 11 omgångar. Två team deltog i den engelsk-kinesiska uppgiften och skickade in två omgångar vardera. På grund av i) olika datakällor/domäner jämfört med tidigare (Wikipedia vs informationsteknik), ii) olika kvalitet på de ursprungliga översättningarna som ska korrigeras och iii) införandet av ett nytt språkpar (engelska-kinesiska), är årets resultat inte direkt jämförbara med förra årets omgång. På båda språkriktningarna visar dock deltagarnas bidrag betydande förbättringar jämfört med basresultaten. På engelsk-tyska förbättras det topprankade systemet jämfört med baslinjen med -11,35 TER och +16,68 BLEU poäng, medan på engelskkinesiska är förbättringarna upp till -12,13 TER respektive +14,57 BLEU poäng. Sammantaget framhävs konsekventa vinster också av resultaten av mänsklig utvärdering, vilket bekräftar APE:s effektivitet när det gäller att förbättra MT-kvaliteten, särskilt inom det nya generiska område som valts ut för årets runda.Abstract
Tunaonyesha matokeo ya mzunguko wa sita wa kazi ya WMT kwenye MT ya Kuhariri Baada ya Uhuru. Kazi hiyo inajumuisha katika kurekebisha matokeo ya mfumo wa utafsiri wa mashine 'boksi nyeusi' kwa kujifunza kutoka kwa uharibifu wa binadamu wa sentensi tofauti. Mwaka huu, changamoto ilikuwa ni ya kurekebisha makosa yaliyopo katika kurasa za Wikipedia za Kiingereza zinazotafsiriwa kwa Kijerumani na Kichina na sanaa za serikali, na sio mfumo wa MT (NMT) ambao haujulikani kwa washiriki. Timu sita walishiriki katika kazi ya Kiingereza na Kijerumani, wakituma jumla ya rundo 11. Timu mbili walishiriki katika kazi ya Kiingereza na Kichina inayotoa ujumbe wa mbili huendesha kila mmoja. Kutokana na mimi) chanzo tofauti na taarifa tofauti tofauti ukilinganishwa na yale yaliyopita (Wikipedia vs Teknolojia ya Habari), i i) kiwango tofauti cha tafsiri za awali zinazosaidiwa na iii) kuanzishwa kwa lugha mpya (Kiingereza-China), matokeo ya mwaka huu hayafananishwi moja kwa moja na mzunguko wa mwaka uliopita. Hata hivyo, kwa maelekezo mawili ya lugha, ujumbe wa washiriki unaonyesha maendeleo makubwa zaidi ya matokeo ya msingi. Kuhusu Kiingereza-Ujerumani, mfumo wa juu unaongezeka zaidi kwenye msingi unaofanywa na -11.35 TER na +16.68 BLEU, wakati katika lugha ya Kiingereza maendeleo yanaweza kufikia -12.13 TER na +14.57 BLEU. Kwa ujumla, mafanikio ya pamoja pia yanaonyeshwa na matokeo ya uchunguzi wa binadamu, ambayo yanathibitisha ufanisi wa APE wa kuboresha kiwango cha viwango vya MT, hasa katika eneo jipya lililochaguliwa kwa ajili ya mwaka huu.Abstract
MT தானியங்கி தொகுப்பு பின் தொகுப்பில் WMT பணியின் 6வது சுற்று முடிவை நாம் காண்பிக்கிறோம். கருப்பு- பெட்டியின் மொழிமாற்று அமைப்பின் வெளியீட்டை தானாகவே சரிசெய்யும் பணியில் இருக்கும் மாறுபாடுகளில் இருந இந்த வருடத்தில், ஆங்கிலம் விகிபிடியா பக்கங்களில் இருக்கும் பிழைகளை சரிபார்க்கும் சவால் இருந்தது ஜெர்மன் மற்றும் சீனா பக்கங்களில் மொழிமாற்றப்பட்டது, டொமைன் ஆறு குழுக்கள் ஆங்கிலம்- ஜெர்மன் பணியில் பங்கிடப்பட்டனர், மொத்தமான 11 ஓட்டுகள் கொடுக்கின்றன. இரண்டு குழுக்கள் ஒவ்வொரு ஓட்டுகிறார்கள் ஆங்கில- சீனா பணியில் பங்கிடப்பட்டனர். நான் காரணமாக) முந்தைய (விகிபிடியா vs தகவல் தொழில்நுட்பத்திற்கு ஒப்பிடும் வேறு மூலத்தின் மூலம்/களம், i i) முதல் மொழிமாற்றங்களை சரிசெய்ய வேண்டிய மாறுபாடுகளின் தரம், மற்றும் iii) பு இரு மொழி திசைகளிலும், பங்கீட்டாளர்களின் கூறுதல்கள் அடிப்படைக்கோட்டின் முடிவுகளைக் காட்டுகிறது. ஆங்கிலத்தில்- ஜெர்மனில் மேல் சிறப்பு விரிவாக்கப்பட்ட அமைப்பு -11. 35 TER மற்றும் + 16. 68 பிலியு புள்ளிகள் மேல் மேம்படுத்தப்பட்டது, போது ஆங்கிலத்தில் சீன மேம்பட் மொத்தமாக, மனித மதிப்புகளின் விளைவுகள் முன்னிலைப்படுத்தப்படுகிறது, அது ஏபியின் விளைவை மேம்படுத்துகிறது, குறிப்பாக இந்த வருடத்தின் சுற்றில் தேAbstract
MT Otomatik Post-Editing üzerinde WMT işinin 6. turunculuğunu gösteriyoruz. Görev bolsa ''gara-box' maşynyň terjime sistemini bolan sözleriň düzeltmeginden öwrenip öz-özüne düzeltmekde. Bu ýyl, beýleki kynçylyk Iňlisçe Wikipedia sahypalarynda Almança we Çin çe çevirilen ýagdaýlary bejermek üçin bardyr. Alty topar iňlisçe-nemesçe görevlerde bäsleşipdir, toplamyň 11 bäsleşigini belleýärler. Iki topar Iňlisçe-Çin çe işine 2 işi gönderýär. I) geçen ýylyň(Wikipedia we Maglumat Teknolojisi) bilen görä görä görä be ýleki görnüş sanlaryň/domeny, i i) başlangyç terjimeleriň üýtgewleri düzeltilmeli we iii) täze dil çift(i ňlisçe-Çinçe) girişi, bu ýylyň netijesi geçen ýylyň içine çykyp biljek däl. Ýöne, iki dil görnüşinde, iştirakçileriniň görnüşleri baz çyzgylyň netijesinde möhüm gelişmeleri görkezýär. Iňlisçe-nemesçe, iň üst depler sistemasy baseline derejesinde -11,35 TER we +16,68 BLUE punktlary bilen gelişýär, iňlisçe Çinçe bilen gelişmeler -12,13 TER we +14,57 BLUE punktlary diýýär. Mundan hem, kohereket gazançlar ynsan değerlendirmegiň netijesi tarapyndan ýagtylaşdyrylýar. Bu da APE'nin MT kalitesini geliştirmegini tassyklaýar, ýöne bu ýylyň täze döwletlerinde saýlanan döwletlerde.Abstract
ہم نے MT اتوماٹی پوسٹ-ایڈیٹینگ پر WMT ٹیسٹ کے 6م رانڈ کے نتائج پیش کیے ہیں. یہ کام اپنے ساتھ مختلف جماعتوں کے موجود انسان کی اصلاح سے سیکھنے کے ذریعہ ایک 'سیاہ باکس' ماشین ترجمہ سیسٹم کی اپوٹٹ سیستم کی اصلاح کرتی ہے. آج سال، اس چال میں انگلیسی ویکیپیڈیا صفحے میں موجود خطاؤں کا اصلاح کرنا تھا جو جرمن اور چینی میں آرتی کے ذریعہ تبدیل کئے گئے ہیں، نہیں ڈومین کے اندازے سے نیورال MT (NMT) سیستموں کے ذریعہ حضار کرنے والے نہیں ہیں. چھ تیموں انگلیسی-جرمن کے کام میں شریک ہوئے، 11 رونڈ جمع کر رہے تھے. دو ٹیموں انگلیسی-چینی ٹیموں میں شامل ہوئے، ہر ایک دو چلنے والے ہیں۔ I) اگلے (ویکیپیڈیا علیھ السّلامٹیکنالوجی علیھ السّلامٹیکنالوجی علیھ السّلامکے مقابلہ میں) ایک نئی زبان جوڑی (انگلیسی-چینی) کی معلومات کے باعث مختلف سراسر/ڈومین (i i) پہلی سال کے راند سے مختلف کیفیت نہیں ہے. لیکن، دونوں زبان کی طرف، شرکت کرنے والوں کے مطابق بنیادی لین کے نتائج پر بہت اچھے سوداگری دکھاتے ہیں. انگلیسی-جرمنی پر بالا رینگ سیسٹم -11.35 TER اور +16.68 BLEU پوینٹ کے ذریعے بنیادی لین پر بہتر ہوتا ہے، حالانکہ انگلیسی چینی پر سوداگری -12.13 TER اور +14.57 BLEU پوینٹ تک ہوتی ہے. بالکل، انسان کی ارزیابی کا نتیجہ بھی مشتبہ ہوتا ہے، جس کی تصدیق کرتی ہے APE کی مثبت MT کیفیت کو بہتر کرنے کے لئے، مخصوصاً اس سال کے راندے کے لئے انتخاب کئے ہوئے نئی عمومی دامنی میں.Abstract
Biz MT avtomatik tahrirlash uchun WMT vazifasi 6 chi harfdagi natijalarini koʻrsatimiz. Name Bu yilda, ingliz vikipedia sahifalarining xatolarini o'zgartirish uchun tarjima qilingan holatda Olmon va Xitoycha sahifalarga tarjima qiladigan, domen-adapted neural MT (NMT) tizimi nomaʼlum emas. Six guruhi ingliz tilida Olmonchaga ishga ega bo'lgan vazifani o'zgartirdi. Bu bir necha 11 ruxsat yordam beradi. Икки гуруҳ ҳар бирини икки ишлатган ই-Xitoycha vazifasiga অংশগ্রহণ қилганлар. Bu sababi, past (Wikipedia vs Maʼlumot Teknologiga) bilan bir xil maʼlumot manbasi/domen (Wikipedia vs Maʼlumot Teknolojiga kamaytirilgan), i i) oʻzgartirish uchun boshqa tarjimalarning turli sifatida (iii) yangi tillar ikki xitoz (Inglizcha- Xitoycha) qoʻyishni ishga tushirish mumkin, bu yil natijalari oxirgi yil sohasida to ʻgʻri bir xi Lekin, ikkita tilning ko'rini bilan bog'liqchilar imkoniyatlarini asosiy matn natijalariga juda ko'p yaxshi ko'rinadi. Inglizcha-Olmonchada eng yuqori tizim - 11.35 TER va +16.68 BLEU pointlari bilan bir necha darajada o'zgariladi. Inglizcha xitoycha sohasida taʼminlovchilar - 12.13 TER va + 14.57 BLEU pointlariga ega bo'ladi. Umumiy, bir necha muvaffaqiyatlarni inson qiymatning natijalarini ko'rsatadi. Bu yil ichida tanlangan yangi genetikal domen davrida APE tizimini bajarishga ishonch hosil qiladi.Abstract
Chúng tôi giới thiệu kết quả vòng thứ sáu của nhiệm vụ WRT trên mạng lưới mạng lưới mạng lưới Post-Editing Tự động. Nhiệm vụ này gồm việc sửa chữa tự động sản xuất của một hệ thống dịch thuật cỗ máy "hộp đen" bằng cách học từ những sửa chữa con người ở các câu khác nhau. Năm nay, thử thách bao gồm việc sửa lỗi trong trang Wikipedia đã được dịch thành Đức và Tàu bằng hệ thống truyền thống truyền thống truyền đạt sang Đức và Trung Quốc, chứ không phải hệ thống mạng lưới thần kinh cục bộ. (NMB) chưa được biết đến đối với các diễn viên. Sáu đội đã tham gia vào nhiệm vụ Anh-Đức, cung cấp một lượng lớn các kênh 11. Hai đội đã tham gia nhiệm vụ Anh-Trung Quốc gởi 2 chạy mỗi đội. Do i i) nguồn tin/miền khác nhau của dữ liệu so với trước (Wikipedia v.Information Technology) the different chất lượng of the initial translations to be Corresed and III) the Introduction of a new language pair (English-Chinese), the results of this year are not trực tiếp tương ứng với tuần trước. Tuy nhiên, dựa trên cả hai hướng ngôn ngữ, sự phát triển của cuộc họp cho thấy có những cải tiến đáng kể. Trên tiếng Anh-Đức, hệ thống cấp cao cải thiện trên so với cơ sở cơ sở của Mười.35 Số Số Số Số Số Số Số Số Số Số Số Số Và Số Hệ Sự Sự Sự Sự Hình Sự, Trong khi đó ở Anh Quốc, sự cải tiến là lên tới-12.13 Số Số Và Chỉ+14.57 Số Số Điểm ĐU. Về mặt chung, kết quả của đánh giá con người cũng được đánh dấu, xác nhận rằng APE có hiệu quả để cải thiện chất lượng MTV, đặc biệt là trong lĩnh vực mới được chọn chung cho vòng tròn năm nay.Abstract
吾言 MT 自译后辑第 6 轮 WMT 事也。 凡学异句者,见人工更正以自正黑匣子机器翻译系统者输之。 今年挑战修复英语维基百科页面之误,页面由先进,非参与者未知应领之神经机器翻译(NMT)系统翻译成德语中文也。 六军预英语-德语务,共交11次走。 二团队参英语 - 中文,每团队2次行。 i)比往时,数/异域(维基百科信息技术),ii)须更正译质不同,iii)引入新语对(英汉),今年与去年无径可比性。 然二语文之上,参与者材皆比基线大改。 英语 - 德语者,上统增于基线-11.35 TER与+16.68 BLEU分,而于英语中文,改进分至-12.13 TER+14.57 BLEU分。 总体而言人工评估,亦凸显一同之益,此证APE增机器翻译之有效性,特为今年新通领域也。- Anthology ID:
- 2020.wmt-1.75
- Volume:
- Proceedings of the Fifth Conference on Machine Translation
- Month:
- November
- Year:
- 2020
- Address:
- Online
- Venues:
- EMNLP | WMT
- SIG:
- SIGMT
- Publisher:
- Association for Computational Linguistics
- Note:
- Pages:
- 646–659
- Language:
- URL:
- https://aclanthology.org/2020.wmt-1.75
- DOI:
- Bibkey:
- Cite (ACL):
- Rajen Chatterjee, Markus Freitag, Matteo Negri, and Marco Turchi. 2020. Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing. In Proceedings of the Fifth Conference on Machine Translation, pages 646–659, Online. Association for Computational Linguistics.
- Cite (Informal):
- Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing (Chatterjee et al., WMT 2020)
- Copy Citation:
- PDF:
- https://aclanthology.org/2020.wmt-1.75.pdf
- Video:
- https://slideslive.com/38939672
- Data
- eSCAPE
- Terminologies:
Export citation
@inproceedings{chatterjee-etal-2020-findings,
title = "Findings of the WMT 2020 Shared Task on Automatic Post-Editing{WMT} 2020 Shared Task on Automatic Post-Editing",
author = "Chatterjee, Rajen and
Freitag, Markus and
Negri, Matteo and
Turchi, Marco",
booktitle = "Proceedings of the Fifth Conference on Machine Translation",
month = nov,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2020.wmt-1.75",
pages = "646--659",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="chatterjee-etal-2020-findings">
<titleInfo>
<title>Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing</title>
</titleInfo>
<name type="personal">
<namePart type="given">Rajen</namePart>
<namePart type="family">Chatterjee</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Markus</namePart>
<namePart type="family">Freitag</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Matteo</namePart>
<namePart type="family">Negri</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marco</namePart>
<namePart type="family">Turchi</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2020-11</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Proceedings of the Fifth Conference on Machine Translation</title>
</titleInfo>
<originInfo>
<publisher>Association for Computational Linguistics</publisher>
<place>
<placeTerm type="text">Online</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<identifier type="citekey">chatterjee-etal-2020-findings</identifier>
<location>
<url>https://aclanthology.org/2020.wmt-1.75</url>
</location>
<part>
<date>2020-11</date>
<extent unit="page">
<start>646</start>
<end>659</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings %T Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing %A Chatterjee, Rajen %A Freitag, Markus %A Negri, Matteo %A Turchi, Marco %S Proceedings of the Fifth Conference on Machine Translation %D 2020 %8 November %I Association for Computational Linguistics %C Online %F chatterjee-etal-2020-findings %U https://aclanthology.org/2020.wmt-1.75 %P 646-659
Markdown (Informal)
[Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing](https://aclanthology.org/2020.wmt-1.75) (Chatterjee et al., WMT 2020)
- Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing (Chatterjee et al., WMT 2020)
ACL
- Rajen Chatterjee, Markus Freitag, Matteo Negri, and Marco Turchi. 2020. Findings of the WMT 2020 Shared Task on Automatic Post-EditingWMT 2020 Shared Task on Automatic Post-Editing. In Proceedings of the Fifth Conference on Machine Translation, pages 646–659, Online. Association for Computational Linguistics.