You Only Need Attention to Traverse Trees

Mahtab Ahmed; Muhammad Rifayat Samee; Robert E. Mercer

doi:10.18653/v1/P19-1030

You Only Need Attention to Traverse Trees Tarvitset vain huomiota Traverse Trees @ action Du treng berre merke på trear 君但留意遍历树

Mahtab Ahmed, Muhammad Rifayat Samee, Robert E. Mercer

Abstract

In recent NLP research, a topic of interest is universal sentence encoding, sentence representations that can be used in any supervised task. At the word sequence level, fully attention-based models suffer from two problems : a quadratic increase in memory consumption with respect to the sentence length and an inability to capture and use syntactic information. Recursive neural nets can extract very good syntactic information by traversing a tree structure. To this end, we propose Tree Transformer, a model that captures phrase level syntax for constituency trees as well as word-level dependencies for dependency trees by doing recursive traversal only with attention. Evaluation of this model on four tasks gets noteworthy results compared to the standard transformer and LSTM-based models as well as tree-structured LSTMs. Ablation studies to find whether positional information is inherently encoded in the trees and which type of attention is suitable for doing the recursive traversal are provided.

Abstract

In onlangse NLP-ondersoek is 'n onderwerp van belang universele setkodering, setnings-voorstellings wat in enige ondersoekte taak gebruik kan word. By die woord volgorde vlak, volledige aandag-gebaseerde modele lyk van twee probleme: 'n quadratic vergroot in geheue-verbruik met betrekking na die setlengte en 'n onaktiwiteit om sintaktees inligting te vang en te gebruik. Rekursiewe neuralnete kan baie goeie sintakteel inligting uitpak deur 'n boom struktuur te trek. Op hierdie einde, voorstel ons Boom Transformeerder, 'n model wat frase vlak sintaks opneem vir konstituency bome as ook woord vlak afhanklikheid vir afhanklikheid bome deur rekursief traversaal slegs met aandag te doen. Evaluering van hierdie model op vier taak kry notawaarde resultate vergelyk met die standaard transformeerder en LSTM-gebaseerde modele en ook boom-struktureerde LSTMs. Aflaag studies om te vind of posisionele inligting inherent in die bome gekodeer is en wat tipe aandag is geskik vir die rekursiewe traversaal verskaf word.

Abstract

በቅርብ ዘመን የNLP ምርመራ፣ የውዴታው ጉዳይ የዓለምአቀፍ የፍርድ ክፍተት ነው፣ በተጠበቀው ስራ ሁሉ የሚጠቀም የፍርድ መልዕክቶች ነው፡፡ በንግግር ግንኙነት፣ የሙሉ ምሳሌዎች ከሁለት ችግር መከራ ይጎዳሉ፤ የፍርዱ ርዝመት ማስታሰቢያ መጠቀሚያ እና የመስመር መረጃን ለመያዝ አይችልም፡፡ የኩነቶች መረብ የዛፍ አካውንት በመለስ እጅግ መልካም መረጃዎችን ሊያወጣ ይችላል፡፡ ለዚህ ምክንያት የዛፍ መተላለፊያ፣ የንግግሮችን ደረጃዎች ለገቢው ዛፎች ሲንካስርን እና የቃላት-ደረጃ በተማመሳሰል ዛፎችን በመስጠት ብቻ በጥያቄ ለመማሰሪያ የሚታመን ምሳሌ እናስገድዳለን፡፡ የዚህ ሞዴል በአራቱ ስራ ላይ በሚያሳየው ስራዎች ላይ የሚያሳየው ፍሬዎችን እና መሠረት የLSTM ዓይነቶች እና ዛፍ የተመሠረቱትን LSTMs በሚተያየው ያሳያል፡፡ በዛፎች ውስጥ የሚቆጠሩ የስህተት መረጃዎች መሆኑን ማግኘት እና የትኛው ዓይነት የጥያቄ ጉዳይ ለመሥራት የሚገባው እንደሆነ ማግኘት ነው፡፡

Abstract

في بحث حديث عن البرمجة اللغوية العصبية ، كان موضوع الاهتمام هو ترميز الجملة العام ، وتمثيلات الجملة التي يمكن استخدامها في أي مهمة خاضعة للإشراف. على مستوى تسلسل الكلمات ، تعاني النماذج القائمة على الانتباه من مشكلتين: زيادة تربيعية في استهلاك الذاكرة فيما يتعلق بطول الجملة وعدم القدرة على التقاط واستخدام المعلومات النحوية. يمكن للشبكات العصبية العودية استخراج معلومات نحوية جيدة جدًا عن طريق عبور بنية شجرة. تحقيقا لهذه الغاية ، نقترح Tree Transformer ، وهو نموذج يلتقط بناء جملة مستوى العبارة لأشجار الدوائر وكذلك التبعيات على مستوى الكلمات لأشجار التبعية عن طريق إجراء اجتياز متكرر مع الانتباه فقط. يحصل تقييم هذا النموذج في أربع مهام على نتائج جديرة بالملاحظة مقارنة بالمحول القياسي والنماذج المستندة إلى LSTM وكذلك LSTMs الهيكلية الشجرية. يتم توفير دراسات الاجتثاث لمعرفة ما إذا كانت المعلومات الموضعية مشفرة بطبيعتها في الأشجار وأي نوع من الانتباه مناسب لإجراء المسح العودي.

Abstract

Son NLP araştırmalarında, üniversal cümlələr kodlaması, hər hansı təhlükəsizli işlərdə istifadə edilə biləcək cümlələr təhlükəsizləridir. Söz seçməsi səviyyəsində, tamamilə dikkati-tabanlı modellər iki problemdən çəkilir: cümlələrin uzunluğuna və sintaktik məlumatları almaq və istifadə etmək üçün bir kvadratik məlumat istifadəsi. Recursive neural nets can extract very good syntactic information by traversing a tree structure. Bu səbəbdə, a ğac Transformer'i təbliğ edirik. Sadəcə dikkati ilə təkrarlanan ağacların təkrarlanması üçün fərz seviyyəti sintaksini və söz seviyyəti bağlılıqlarını təkrarlayır. Bu modelinin dörd işin değerlendirməsi standart transformer və LSTM-ə dayanan modellərlə və ağac-yapısılı LSTMs ilə müqayisədə değerli sonuçlar alır. Yerli məlumatlar ağaclarda kodlanmış və hərəkətli traversal etmək üçün hansı növ məlumatların uyğun olduğunu öyrənmək üçün qüvvət təhsil edilir.

Abstract

В последните изследвания на НЛП темата е универсалното кодиране на изречения, представяне на изречения, които могат да бъдат използвани във всяка контролирана задача. На ниво последователност на думите, напълно базираните на вниманието модели страдат от два проблема: квадратно увеличение на консумацията на памет по отношение на дължината на изречението и невъзможност за улавяне и използване на синтактична информация. Рекурсивните невронни мрежи могат да извлекат много добра синтактична информация чрез преминаване през дървесна структура. За тази цел предлагаме модел, който улавя синтаксиса на ниво фраза за дървета от избирателни райони, както и зависимости на ниво дума за дървета от зависимости, като прави рекурсивно преминаване само с внимание. Оценката на този модел по четири задачи получава забележителни резултати в сравнение със стандартните трансформаторни и базирани модели, както и с дървесни структури. Предоставят се аблационни проучвания, за да се установи дали позиционната информация е кодирана по същество в дърветата и кой тип внимание е подходящо за извършване на рекурсивния траверс.

Abstract

In recent NLP research, a topic of interest is universal sentence encoding, sentence representations that can be used in any supervised task. শব্দের সীমান্তে পুরোপুরি ভিত্তিক মডেল দুটি সমস্যা থেকে দু’টি সমস্যার দিকে আকর্ষণ করে: বাক্যের দীর্ঘদিন এবং সিন্ট্যাকটিক তথ্য গ্রহণ করা পুনরাবৃত্তিক নিউরেল নেটওয়ার্ক একটি গাছের কাঠামোর মাধ্যমে খুব ভালো সিন্ট্যাকটিক তথ্য বের করতে পারে। এই কারণে আমরা একটি মডেল প্রস্তাব করছি যা সংসদ গাছের জন্য বাক্যের স্তরের সিন্ট্যাক্স তুলে ধরে, আর শব্দ-পর্যায়ের উপর নির্ভর করে শুধুমাত্র পুনরাবৃত্তিক বিভ চারটি কাজের উপর এই মডেলের মূল্যায়নের ফলাফল স্ট্যান্ডার্ড পরিবর্তন এবং এলসিএম ভিত্তিক মডেলের তুলনায় নোটের ফলাফল পাওয়া যায় এবং গাছ-কাঠা বৃক্ষের মধ্যে অবস্থিত তথ্য প্রতিষ্ঠিত কিনা এবং পুনরাবৃত্তিক ব্যবস্থা করার জন্য কোন ধরনের মনোযোগ প্রদান করা যায় কিনা।

Abstract

NLP འཚོལ་ཞིབ་ནང་དུ་སྤྱི་ཚོགས་ཀྱི་དོན་ལྟར་བསམ་བློ་གཏད་ཀྱི་ཚིག་རྟགས་མངོན་གསལ་བྱེད་ཀྱི་ཡོད། At the word sequence level, fully attention-based models suffer from two problems: a quadratic increase in memory consumption with respect to the sentence length and an inability to capture and use syntactic information. Rekursive neural nets can extract very good syntactic information by traversing a tree structure. འདི་ལྟར་ངེད་ཚོའི་དབྱིབས་བཟོ་བྱེད་མཁན་གྱི་དབྱིབས་བཟོ་སྣང་ཚུལ་བཟོ་རྣམ་པ་ཞིག་གིས་ཚོང་མཐོང་བའི་དབྱིབས་དང་གཞན་རྟེན་འབྲེལ དཔེ་དབྱིབས་འདིའི་ཚད་ལྟར་བྱ་འགུལ་བཞིན་གྱི་ནང་དུ་ཚད་ལྟར་མཐུན་རྐྱེན་བྱས་ཉེས་བ་ཡིན་པས། འཇུག་བརྗོད་ཀྱི་ལས་འཚོལ་ཞིབ་དཔྱད་ཡིན་མིན་ན་གནས་ཡུལ་ཆ་འཕྲིན་ཡིན་ནའང་ཚང་ནང་སྒྲིག་ཡོད་མིན་ན།

Abstract

U nedavnim istraživanjima NLP-a, tema interesa je univerzalna kodiranja rečenica, predstavljanja rečenica koja se može koristiti u bilo kojem nadzornom zadatku. Na nivou sekvencije riječi, u potpunoj pažnji bazirani modeli pate od dva problema: kvadratično povećanje potrošnje pamćenja u pogledu dužine rečenice i nesposobnosti uhvatiti i koristiti sintaktične informacije. Rekursivne neuralne mreže mogu izvući vrlo dobre sintaktične informacije traverzom strukture drveta. Za taj cilj predlažemo transformator drveta, model koji uključuje sintaks razine fraze za drveće konstitucije, kao i ovisnosti o razini riječi za drveće zavisnosti samo s pažnjom. Evaluacija ovog modela na četiri zadatke dobija primjećujuće vrijedne rezultate u usporedbi s standardnom transformatorom i modelima na osnovu LSTM-a, kao i LSTMs-om na drvetu. Ispitivanja otkazivanja kako bi se pronašla da li se pozicionalna informacija u drveću sadrži kodirana i koje je vrste pažnje odgovarajuće za postizanje rekursivnog traversala.

Abstract

En recents estudis del NLP, un tema d'interès és codificació universal de frases, representacions de frases que poden ser utilitzades en qualsevol tasca supervisada. A nivell de seqüència de paraules, els models plenament basats en l'atenció pateixen dos problemes: un augment quadràtic del consum de memòria en relació a la llargada de frases i una incapacitat de capturar i utilitzar informació sinàctica. Les xarxes neurals recursives poden extrair molta bona informació sinàctica travessant una estructura d'arbre. A aquest efecte, proposem Tree Transformer, un model que captura la sintaxi del nivell de frases dels arbres de circumstàncies electorals i les dependencies del nivell de paraules dels arbres de dependencia només fent una traversal recursiva amb atenció. La valoració d'aquest model en quatre tasques obté resultats notables comparats amb els models standard de transformador i LSTM, com també LSTM estructurats en arbres. Estudios d'habilitat per descobrir si la informació de posició està codificada inherentment als arbres i quin tipus d'atenció és apropiat per fer la traversal recursiva s'ofereixen.

Abstract

V nedávném výzkumu NLP je tématem zájmu univerzální kódování vět, reprezentace vět, které lze použít v jakémkoli dohledovaném úkolu. Na úrovni slovní sekvence trpí plně pozornostní modely dvěma problémy: kvadratickým zvýšením spotřeby paměti s ohledem na délku věty a neschopností zachytit a používat syntaktické informace. Rekurzivní neuronové sítě mohou extrahovat velmi dobré syntaktické informace procházením stromové struktury. Za tímto účelem navrhujeme Tree Transformer, model, který zachycuje syntaxi na úrovni frází pro stromy volebních okruhů a závislosti na úrovni slov pro stromy závislostí prováděním rekurzivního přechodu pouze s pozorností. Hodnocení tohoto modelu na čtyřech úlohách dosahuje pozoruhodných výsledků ve srovnání se standardními transformátorovými a LSTM modely a stromově strukturovanými LSTMy. Byly poskytnuty ablační studie, aby zjistily, zda jsou polohové informace inherentně kódovány ve stromech a jaký typ pozornosti je vhodný pro provádění rekurzivního traversálu.

Abstract

I nyere NLP forskning er et emne af interesse universel sætningskodning, sætningsrepræsentationer, der kan bruges i enhver overvåget opgave. På ordsekvensniveau lider fuldt opmærksomhedsbaserede modeller af to problemer: en kvadratisk stigning i hukommelsesforbruget i forhold til sætningens længde og en manglende evne til at fange og bruge syntaktisk information. Rekursive neurale net kan udtrække meget god syntaktisk information ved at krydse en træstruktur. Til dette formål foreslår vi Tree Transformer, en model, der fanger syntaks på sætningsniveau for valgkredsstræer samt afhængigheder på ordniveau for afhængighedstræer ved kun at gøre rekursiv krydsning med opmærksomhed. Evaluering af denne model på fire opgaver giver bemærkelsesværdige resultater sammenlignet med standard transformer- og LSTM-baserede modeller samt træstrukturerede LSTM'er. Der gives ablationsundersøgelser for at finde ud af, om positionsinformation er indkodet i træerne, og hvilken type opmærksomhed der er egnet til at gøre rekursiv krydsning.

Abstract

In der jüngsten NLP-Forschung ist ein Thema von Interesse die universelle Satzkodierung, Satzdarstellungen, die in jeder überwachten Aufgabe verwendet werden können. Auf der Ebene der Wortsequenz leiden vollständig aufmerksamkeitsbasierte Modelle unter zwei Problemen: einem quadratischen Anstieg des Speicherverbrauchs in Bezug auf die Satzlänge und einer Unfähigkeit, syntaktische Informationen zu erfassen und zu verwenden. Rekursive neuronale Netze können sehr gute syntaktische Informationen extrahieren, indem sie eine Baumstruktur durchqueren. Zu diesem Zweck schlagen wir Tree Transformer vor, ein Modell, das die Syntax auf Phrasenebene für Wahlkreisbäume sowie Wortabhängigkeiten für Abhängigkeitsbäume erfasst, indem rekursive Traversale nur mit Aufmerksamkeit durchgeführt werden. Die Auswertung dieses Modells auf vier Aufgaben liefert bemerkenswerte Ergebnisse im Vergleich zu den Standard-Transformator- und LSTM-basierten Modellen sowie baumstrukturierten LSTMs. Es werden Ablationsstudien durchgeführt, um herauszufinden, ob Positionsinformationen inhärent in den Bäumen kodiert sind und welche Art von Aufmerksamkeit für die rekursive Traversal geeignet ist.

Abstract

Στην πρόσφατη έρευνα, ένα θέμα ενδιαφέροντος είναι η καθολική κωδικοποίηση προτάσεων, αναπαραστάσεις προτάσεων που μπορούν να χρησιμοποιηθούν σε οποιαδήποτε εποπτευόμενη εργασία. Στο επίπεδο ακολουθίας λέξεων, τα μοντέλα που βασίζονται στην προσοχή υποφέρουν από δύο προβλήματα: μια τετραγωνική αύξηση της κατανάλωσης μνήμης σε σχέση με το μήκος της πρότασης και μια αδυναμία σύλληψης και χρήσης συντακτικών πληροφοριών. Τα ανακλαστικά νευρικά δίκτυα μπορούν να εξάγουν πολύ καλές συντακτικές πληροφορίες διασχίζοντας μια δομή δέντρου. Για το σκοπό αυτό, προτείνουμε τον μετασχηματιστή δέντρου, ένα μοντέλο που συλλαμβάνει τη σύνταξη επιπέδου φράσεων για δέντρα εκλογικής περιφέρειας καθώς και εξαρτήσεις σε επίπεδο λέξεων για δέντρα εξαρτήσεων κάνοντας αναδρομική μετακίνηση μόνο με προσοχή. Η αξιολόγηση αυτού του μοντέλου σε τέσσερις εργασίες έχει αξιοσημείωτα αποτελέσματα σε σύγκριση με τα τυποποιημένα μοντέλα μετασχηματιστή και βασισμένα σε LSTM καθώς και τα δομημένα σε δένδρα LSTMs. Παρέχονται μελέτες αποστολών για να βρεθεί εάν οι πληροφορίες θέσης είναι εγγενώς κωδικοποιημένες στα δέντρα και ποιο είδος προσοχής είναι κατάλληλο για την αναδρομική μετακίνηση.

Abstract

En investigaciones recientes sobre PNL, un tema de interés es la codificación universal de oraciones, representaciones de oraciones que se pueden utilizar en cualquier tarea supervisada. A nivel de secuencia de palabras, los modelos totalmente basados en la atención tienen dos problemas: un aumento cuadrático en el consumo de memoria con respecto a la longitud de la oración y una incapacidad para capturar y usar información sintáctica. Las redes neuronales recursivas pueden extraer muy buena información sintáctica al atravesar una estructura de árbol. Con este fin, proponemos Tree Transformer, un modelo que captura la sintaxis a nivel de frase para los árboles de distritos electorales, así como las dependencias a nivel de palabra para los árboles de dependencias al realizar un recorrido recursivo solo con atención. La evaluación de este modelo en cuatro tareas obtiene resultados notables en comparación con los modelos basados en transformadores estándar y LSTM, así como los LSTM estructurados en árbol. Se proporcionan estudios de ablación para determinar si la información posicional está intrínsecamente codificada en los árboles y qué tipo de atención es adecuada para realizar el recorrido recursivo.

Abstract

Hiljutistes NLP uuringutes on huvipakkuvaks teemaks universaalne lausekodeerimine, lauseesitus, mida saab kasutada mis tahes järelevalveülesandes. Sõnade jada tasandil kannatavad täielikult tähelepanu põhinevad mudelid kahe probleemi all: ruutmälukasutuse suurenemine lause pikkuse suhtes ning võimetus jäädvustada ja kasutada süntaktilist teavet. Rekursiivsed närvivõrgud võivad eraldada väga head süntaktilist informatsiooni läbides puustruktuuri. Selleks pakume välja Tree Transformer, mudel, mis jäädvustab fraasitaseme süntaksi valimisringkonna puude jaoks ja sõnataseme sõltuvused sõltuvuspuude, tehes rekursiivset läbimist ainult tähelepanuga. Selle mudeli hindamine neljal ülesandel annab märkimisväärseid tulemusi võrreldes standardsete trafo- ja LSTM-põhiste mudelitega ning puustruktureeritud LSTMdega. Esitatakse ablatsiooniuuringud, et leida, kas positsiooniteave on puudes kodeeritud ja millist tähelepanu sobib rekursiivse läbimise tegemiseks.

Abstract

در تحقیقات اخیر NLP، یک موضوع علاقه رمزبندی جمله جهانی است، نمایش جمله‌ها که می‌توانند در هر کار تحقیق استفاده کنند. در سطح ترکیب کلمه، مدل‌های کامل توجه به دو مشکل رنج می‌برند: یک افزایش چهارداریک در مصرف حافظه با respect to the length of the sentence و یک غیرقابلیت برای capture and use syntactic information. شبکه‌های عصبی دوباره می‌توانند اطلاعات سنتاکتیک بسیار خوب را با تبدیل ساختار درخت خارج کنند. برای این قسمت، ما یک مدل تغییر دهنده درخت را پیشنهاد می‌کنیم، که وابستگی‌های طبقه‌ای برای درختان محیطی و وابستگی‌های طبقه‌ی کلمه برای درختان بستگی فقط با توجه به طریق تغییر تغییر می‌دهد. ارزیابی این مدل روی چهار وضعیت نتیجه ارزشمند را در مقایسه با مدل‌های تغییر‌دهنده استاندارد و LSTM و LSTMs ساخته شده درخت یاد می‌گیرد. مطالعات قابلیت برای پیدا کردن آیا اطلاعات موقعیت در درختان به عنوان کدام نوع توجه برای انجام قابل تغییر تکرار است.

Abstract

Äskettäisessä NLP-tutkimuksessa kiinnostava aihe on universaali lausekoodaus, lauseesityksiä, joita voidaan käyttää missä tahansa valvotussa tehtävässä. Sanasekvenssitasolla täysin huomiopohjaiset mallit kärsivät kahdesta ongelmasta: muistinkulutuksen kasvu lauseen pituuden suhteen ja kyvyttömyys tallentaa ja käyttää syntaktista tietoa. Recursiiviset hermoverkot voivat poimia erittäin hyvää syntaktista tietoa kulkemalla puurakenteen läpi. Tätä varten ehdotamme Tree Transformer -mallia, joka tallentaa lausetason syntaksin vaalipiiripuille sekä sanatason riippuvuudet riippuvuusppuille tekemällä rekursiivista läpikäystä vain tarkkaavaisesti. Tämän mallin arviointi neljästä tehtävästä saa merkittäviä tuloksia verrattuna vakiomuuntaja- ja LSTM-pohjaisiin malleihin sekä puurakenteisiin LSTM-malleihin. Ablaatiotutkimuksissa selvitetään, onko paikkatieto luonnostaan koodattu puihin ja minkä tyyppinen huomio sopii rekursiivisen läpiviennin tekemiseen.

Abstract

Dans des recherches récentes sur la PNL, un sujet d'intérêt est le codage universel des phrases, des représentations de phrases qui peuvent être utilisées dans n'importe quelle tâche supervisée. Au niveau de la séquence de mots, les modèles entièrement axés sur l'attention souffrent de deux problèmes : une augmentation quadratique de la consommation de mémoire par rapport à la longueur de la phrase et une incapacité à saisir et à utiliser des informations syntaxiques. Les réseaux neuronaux récursifs peuvent extraire de très bonnes informations syntaxiques en parcourant une structure arborescente. À cette fin, nous proposons Tree Transformer, un modèle qui capture la syntaxe au niveau des phrases pour les arbres de constituants ainsi que les dépendances au niveau des mots pour les arbres de dépendance en effectuant une traversée récursive uniquement avec attention. L'évaluation de ce modèle sur quatre tâches permet d'obtenir des résultats remarquables par rapport aux modèles à transformateur standard et à base de LSTM ainsi qu'aux modèles LSTM structurés en arborescence. Des études d'ablation visant à déterminer si les informations de position sont codées de manière inhérente dans les arbres et quel type d'attention convient pour effectuer la traversée récursive sont fournies.

Abstract

I dtaighde NLP le déanaí, is ábhar spéise é ionchódú abairtí uilíoch, léirithe abairtí is féidir a úsáid in aon tasc maoirsithe. Ag leibhéal na seicheamh focal, tá dhá fhadhb ag baint le samhlacha atá bunaithe ar aird go hiomlán: méadú ceathrúnach ar thomhaltas cuimhne maidir le fad na habairte agus neamhábaltacht faisnéis chomhréire a ghabháil agus a úsáid. Is féidir le líonta néaracha athfhillteacha faisnéis chomhréire an-mhaith a bhaint as trí struchtúr crann a thrasnú. Chuige sin, molaimid Tree Transformer, múnla a ghlacann comhréir leibhéal frása do chrainn dáilcheantair chomh maith le spleáchais ar leibhéal na bhfocal do chrainn spleáchais trí thrasnú athfhillteach a dhéanamh le haird agus aird. Faigheann meastóireacht ar an tsamhail seo ar cheithre thasc torthaí suntasacha i gcomparáid leis na samhlacha caighdeánacha claochladán agus LSTM-bhunaithe chomh maith le LSTManna crann-struchtúrtha. Cuirtear staidéir ar fáil chun a fháil amach an bhfuil faisnéis suímh ionchódaithe go bunúsach sna crainn agus cén cineál aird atá oiriúnach chun an trasnú athfhillteach a dhéanamh.

Abstract

A cikin research na NLP na ƙara, wata madaidaici na son sha'awa yana da kodi na ɗabi'a, da sunan na iya amfani da cikin wani aikin da aka tsare. Aka cikin daraja na cewa, misãlai masu bincike masu kamili da aikin muhalli sun ci daga matabbata biyu: An ƙara wa matuƙar hukarin kumbura game da tsawo na maganar kuma ba ya kasa kãma kuma ya yi amfani da maɓallin haɗatiki. Intanet na'urar da ke iya samun mutane da za'a iya samu'a mai kyau a sami'ar da ke samu'i wata itãce. To this end, we propose Tree Transformer, a model that captures phrase level syntax for constituency trees as well as word-level dependencies for dependency trees by doing recursive traversal only with attention. Kibaijan wannan motel a kan aikin huɗu za'a motsa masu inganci a sami da motsalan transformer na daidaita da kuma misãlai masu banga LTRM da kuma da aka danne LTRM. Ana karatun Ablasiya dõmin ya gane ko an kodi bayan information a cikin itãcen, kuma wane nau'i na da daidai ga aikin matafiyar da ta kõmowa.

Abstract

במחקר האחרון של NLP, נושא של עניין הוא קודם משפטים אוניברסלי, מייצגים משפטים שיכולים להשתמש בכל משימה שמשגיחה. ברמה של רצף המילים, דוגמנים מבוססים על תשומת לב מלאה סובלים משני בעיות: גיבוי רביעי בזכרון בנוגע לאורך המשפט ולא יכולת לתפוס ולהשתמש במידע סינטקטי. Recursive neural nets can extract very good syntactic information by traversing a tree structure. למטרה זו, אנו מציעים מעבר עץ, דוגמא שמתפסה סינטקס רמת המשפטים עבור עצי מחוז הבחירות, כמו גם תלויות רמת מילים עבור עצי תלויות על ידי עשיית מעבר חוזר רק עם תשומת לב. הערכה של המודל הזה על ארבעה משימות מקבלת תוצאות ראויות בהשוואה למעבר הסטנדרטי ומודלים מבוססים על LSTM וגם LSTMs מבוססים על עצים. מחקרי ביטול כדי למצוא אם מידע מקומי מוצפן באופן טבעי בעצים ואיזה סוג של תשומת לב מתאים לעשות את המעבר המחזור נמצא.

Abstract

हाल के एनएलपी अनुसंधान में, ब्याज का एक विषय सार्वभौमिक वाक्य एन्कोडिंग है, वाक्य प्रतिनिधित्व जो किसी भी पर्यवेक्षित कार्य में उपयोग किया जा सकता है। शब्द अनुक्रम स्तर पर, पूरी तरह से ध्यान-आधारित मॉडल दो समस्याओं से पीड़ित हैं: वाक्य की लंबाई के संबंध में स्मृति खपत में एक द्विघात वृद्धि और वाक्यात्मक जानकारी को पकड़ने और उपयोग करने में असमर्थता। पुनरावर्ती तंत्रिका जाल एक पेड़ संरचना traversing द्वारा बहुत अच्छी वाक्यात्मक जानकारी निकाल सकते हैं. इस अंत तक, हम ट्री ट्रांसफॉर्मर का प्रस्ताव करते हैं, एक मॉडल जो निर्वाचन क्षेत्र के पेड़ों के लिए वाक्यांश स्तर के वाक्यविन्यास के साथ-साथ निर्भरता पेड़ों के लिए शब्द-स्तर की निर्भरताओं को केवल ध्यान के साथ पुनरावर्ती ट्रैवर्सल करके कैप्चर करता है। चार कार्यों पर इस मॉडल के मूल्यांकन को मानक ट्रांसफार्मर और LSTM-आधारित मॉडल के साथ-साथ पेड़-संरचित LSTMs की तुलना में उल्लेखनीय परिणाम मिलते हैं। एब्लेशन अध्ययन यह पता लगाने के लिए कि क्या पेड़ों में स्थितिगत जानकारी स्वाभाविक रूप से एन्कोडेड है और पुनरावर्ती ट्रैवर्सल करने के लिए किस प्रकार का ध्यान उपयुक्त है, प्रदान किया जाता है।

Abstract

U nedavnim istraživanjima NLP-a, tema interesa je univerzalna kodiranja rečenica, predstavljanja rečenica koja se može koristiti u bilo kojem nadzornom zadatku. Na razini riječi sekvencije, u potpunosti osnovani na pažnji modeli pate od dva problema: kvadratični povećanje potrošnje pamćenja u pogledu dužine rečenica i nesposobnosti uhvatiti i koristiti sintaktične informacije. Rekursivne neuralne mreže mogu izvući vrlo dobre sintaktične informacije traverzom strukture drveta. Za taj cilj predlažemo transformator drveta, model koji uključuje sintaks razine fraze za drveće konstitucije, kao i ovisnost riječi o razini ovisnosti drveta samo s pažnjom. Procjenjivanje ovog modela na četiri zadatke dobiva vrijedne rezultate u usporedbi s standardnom transformacijom i modelima na osnovu LSTM-a, kao i LSTMs strukturovanim drvetom. Ispitivanja za ublažnost kako bi se otkrila da li se pozicionalna informacija inherentno kodira na drveću i koje vrste pažnje odgovaraju za postizanje rekursivnog traversala.

Abstract

A közelmúltbeli NLP kutatásokban érdekes téma az univerzális mondatkódolás, mondatok reprezentációja, amelyek bármilyen felügyelt feladatban használhatók. A szószekvencia szintjén a teljesen figyelem alapú modellek két problémával szembesülnek: a memóriafogyasztás négyszöges növekedése a mondathossz tekintetében és a szintaktikus információk rögzítésének és használatának képtelensége. A rekurzív neurális hálók nagyon jó szintaktikus információt tudnak kinyerni egy fa struktúráján keresztül. Ennek érdekében javasoljuk a Tree Transformert, egy olyan modellt, amely a választókerületi fák kifejezésszintű szintaxisát, valamint a függőségi fák szószintű függőségét rögzíti rekurzív keresztezéssel. Ennek a modellnek a négy feladatra történő értékelése figyelemre méltó eredményeket ér el a standard transzformátor és LSTM alapú modellekhez képest, valamint a fa strukturált LSTM modellekhez képest. Ablációs tanulmányokat nyújtunk annak megállapítására, hogy a pozíciós információkat eredendően kódolják-e a fákban, és milyen típusú figyelem alkalmas a rekurzív áthaladásra.

Abstract

In recent NLP research, a topic of interest is universal sentence encoding, sentence representations that can be used in any supervised task. Բառերի հաջորդականության մակարդակում ամբողջովին ուշադրության հիմնված մոդելները տառապում են երկու խնդիրներից. հիշողության սպառության քառակուսի աճը նախադասության երկարության և սինտակտիկ տեղեկատվության ձայնագրման և օգտագործման անկարողությունից: Ռեկուրսիվ նյարդային ցանցերը կարող են շատ լավ սինտակտիկ տեղեկատվություն ստանալ ծառի կառուցվածքի միջով: Այս նպատակով, մենք առաջարկում ենք ծառի վերածմանը, մի մոդել, որը ներառում է ընտրական շրջանների ծառերի արտահայտության մակարդակի սինտաքսը, ինչպես նաև կախվածության ծառերի բառերի մակարդակի կախվածությունը միայն ուշադրության շրջանակներով: Այս մոդելի գնահատումը չորս խնդիրների վրա արժեքավոր արդյունքներ է ստանում համեմատած ստանդարտ վերափոխողի և LSMT-ի հիմնված մոդելների հետ, ինչպես նաև ծառի կառուցվածքով LSMT-ների հետ: Համակարգման ուսումնասիրություններ, որոնք ցույց են տալիս, թե արդյոք տեղադրական տեղեկատվությունը բնական կոդավորված է ծառերում և թե որպիսի ուշադրություն է համապատասխանում կրկնօրինակ ճանապարհորդության համար:

Abstract

Dalam penelitian NLP baru-baru ini, topik yang menarik adalah pengekodan kalimat universal, representation kalimat yang dapat digunakan dalam setiap tugas yang diawasi. Pada tingkat urutan kata, model sepenuhnya berdasarkan perhatian menderita dari dua masalah: meningkat kuadratis konsumsi memori terhadap panjang kalimat dan ketidakmampu untuk menangkap dan menggunakan informasi sintaksi. Jaringan saraf rekursif dapat mengekstrak informasi sintaks yang sangat baik dengan melalui struktur pohon. Untuk tujuan ini, kami mengusulkan Tree Transformer, model yang menangkap sintaks tingkat frasa untuk pohon konstitusi serta dependensi tingkat kata untuk pohon dependensi dengan melakukan perjalanan rekursif hanya dengan perhatian. Evaluasi model ini pada empat tugas mendapatkan hasil yang layak dicatat dibandingkan dengan transformer standar dan model LSTM berbasis serta LSTM strukturasi pohon. Studi Ablasi untuk menemukan apakah informasi posisi secara alami dikodeksi di pohon dan jenis perhatian apa yang cocok untuk melakukan perjalanan rekursif diberikan.

Abstract

Nella recente ricerca NLP, un argomento di interesse è la codifica universale delle frasi, rappresentazioni di frasi che possono essere utilizzate in qualsiasi compito supervisionato. A livello di sequenza di parole, i modelli completamente attenti soffrono di due problemi: un aumento quadratico del consumo di memoria rispetto alla lunghezza della frase e l'incapacità di catturare e utilizzare informazioni sintattiche. Le reti neurali ricorsive possono estrarre ottime informazioni sintattiche attraversando una struttura ad albero. A tal fine, proponiamo Tree Transformer, un modello che cattura la sintassi a livello di frase per gli alberi di circoscrizione, così come le dipendenze a livello di parola per gli alberi di dipendenza facendo traversata ricorsiva solo con attenzione. La valutazione di questo modello su quattro compiti ottiene risultati degni di nota rispetto ai modelli standard basati su trasformatori e LSTM e LSTM strutturati ad albero. Vengono forniti studi di ablazione per scoprire se le informazioni posizionali sono intrinsecamente codificate negli alberi e quale tipo di attenzione è adatto per fare il traverso ricorsivo.

Abstract

最近のNLP研究では、関心のあるトピックは普遍的な文章エンコードであり、任意の監督されたタスクで使用できる文章表現です。ワードシーケンスレベルでは、完全に注目に基づくモデルは、文の長さに関するメモリ消費の二次的な増加と、構文情報を取り込んで使用することができないという2つの問題を抱えています。再帰的ニューラルネットは、木構造を横断することによって非常に優れた構文情報を抽出することができる。このために、ツリートランスフォーマーを提案します。このモデルは、再帰トラバーサルを注意深く実行するだけで、選挙区ツリーのフレーズレベルの構文と依存関係ツリーのワードレベルの依存関係をキャプチャします。このモデルの4つのタスクでの評価は、標準変圧器とLSTMベースのモデル、および木構造化LSTMと比較して注目すべき結果を得る。位置情報が木に固有に符号化されているかどうか、および再帰的な横断を行うのに適した注意の種類を見つけるためのアブレーション研究が提供される。

Abstract

NLP arrowhead Sayensi tab-style Saiki iki, nggunakake tresnane Ketok Transformer, model sing ditawakke seneng pisan kelas kotak nggawe aturan ampar aturan kanggo Ketok Name Laptop" and "Desktop

Abstract

შემდეგ NLP სწავლებაში, ინტერესტის თემა უნივერსალური სიტყვების კოდირება, სიტყვების გამოყენება, რომელიც ყველაფერი დანარწმუნებული დავამყენება. სიტყვების სიმბოლობის სიმბოლობის სიმბოლობის დონეში, ყველაფერად აღმოჩენებული მოდელები ორი პრობლემების განმავლობაში: კვადრატიური გამოყენება მეხსიერების სიმბოლობის სიმბოლო Rekursive neural nets can extract very good syntactic information by traversing a tree structure. ამ მიზეზით, ჩვენ ახალი ტრანფორმაციის მოდელს, რომელიც ფრაზების სინტაქსის სინტაქსის კონსტუტენციური ხელებისთვის და სიტყვების მიზეზების შესახებ დასახებ ხელებისთვის, მხოლოდ რეკუ ამ მოდელის განსაზღვრება ოთხი საქაღალდეების შესაბამისი წარმოდგენა სტანდარტრუქტურაციის და LSTM-based მოდელის შესაბამისი შესაბამისი წარმოდგენა, და LSTMs-ს შესაბამისი შ აბლაციის კვლევები, რომელიც შესაძლებელია პოციონალური ინფორმაცია, რომელიც ხელებში კოდირებულია და რომელიც გონიშვნელობის ტიპი შესაძლებელია რეკურსიური ტრავარულის შესაძლებ

Abstract

Жуырдағы NLP зерттеулерінде, қызықтың маңызды мәселелер кодтамасы, әрбір қарау тапсырмасында қолданылатын мәселелерді көрсету. Сөздерді реттеу деңгейінде, қарау үлгілері екі мәселелерден тұрады: мәселелердің ұзындығымен синтактикалық мәліметті алу және қолдану үшін квадратикалық жадын қолдану үшін квадратикалық Рекурсивті невралдық желі ағаш құрылғысын аударып өте жақсы синтактикалық мәліметті тарқатып алады. Бұл үшін Бұтақ түрлендірушісін ұсынамыз. Бұл үшін бұтақ түрлендірушісі үшін сөздер деңгейінің синтаксисін, сондай-ақ сөздердің деңгейінің тәуелдігі ағаштардың тек қайталап қайталап қа Бұл үлгіні төрт тапсырмалардың оқу үшін стандартты түрлендіруші мен LSTM негіздеген үлгілерімен және ағаш құрылған LSTMs мен салыстырылады. Орналасу мәліметі ағаштарда кодталып, қайталанатын қайталану үшін қай түрлі нақты түрін көрсету үшін анықтауға болады.

Abstract

최근의 NLP 연구에서 흥미로운 화제는 일반적인 문장 인코딩이다. 즉, 모든 감독 임무에서 사용할 수 있는 문장 표시이다.단어 서열 차원에서 완전히 주의력을 바탕으로 하는 모델은 문장 길이에 대한 기억 소모의 2차 증가와 문법 정보를 포획하고 사용할 수 없는 두 가지 문제에 직면한다.귀속신경 네트워크는 트리 구조를 두루 훑어보면서 매우 좋은 문법 정보를 추출할 수 있다.이를 위해 Tree Transformer를 제시했습니다. 이것은 선택 트리를 포획한 단어급 문법과 트리에 의존하는 단어급 의존에만 관심을 기울이는 모델입니다.표준 변압기와 LSTM을 바탕으로 한 모델, 트리 구조의 LSTM에 비해 이 모델은 네 가지 임무에 대한 평가에서 주목할 만한 결과를 얻었다.위치 정보가 트리에 내재적으로 인코딩되어 있는지, 그리고 어떤 종류의 주의가 반복적으로 반복되는 데 적합한지 발견하기 위해 연구를 제공했다.

Abstract

Neseniai atliktų NLP tyrimų metu svarbi tema yra universalus sakinių kodavimas, sakinių atstovavimas, kuris gali būti naudojamas bet kurioje prižiūrimoje užduotyje. žodžių sekos lygiu visiškai dėmesiu grindžiamiems modeliams kyla dvi problemos: kvadratinis atminties suvartojimo padidėjimas atsižvelgiant į sakinio trukmę ir nesugebėjimas surinkti ir naudoti sintaksinės informacijos. Rekursyvieji nerviniai tinklai gali gauti labai gerą sintaksinę informaciją kertant medžio struktūrą. Šiuo tikslu siūlome medžio transformatorių, model į, kuriame apibūdinama rinkimų apygardos medžių frazių lygio sintaksija, taip pat priklausomybės nuo žodžių lygio priklausomybės nuo priklausomybės medžių, atliekant tik atkuriamą perėjimą dėmesiu. Šis modelis vertinamas keturiomis užduotimis, palyginti su standartiniu transformatoriumi ir LSTM grindžiamais modeliais, taip pat su medžio struktūriniais LSTM. Ablation studies to find whether positional information is inherently encoded in the trees and which type of attention is suitable for doing the recursive traversal are provided.

Abstract

Во неодамнешното истражување на НЛП, тема на интерес е универзалното кодирање на речениците, претставувања на речениците кои може да се користат во секоја надгледувана задача. На нивото на секвенца на зборови, моделите базирани на целосно внимание страдаат од два проблеми: квадратно зголемување на потрошувањето на меморијата во однос на должината на реченицата и неспособност да се фатат и користат синтактички информации. Рекурсивните нервни мрежи можат да извлечат многу добри синтактички информации преку структура на дрво. За оваа цел, предложуваме Трансформер на дрво, модел кој го прифаќа синтаксот на нивото на фрази за дрвјата на изборните области, како и зависностите на нивото на зборови за дрвјата на зависноста со рекурсивна трансверзија само со внимание. Оваа оценка на овој модел на четири задачи добива значајни резултати во споредба со стандардниот трансформатор и моделите базирани на LSTM, како и со дрвја структурирани LSTM. Студии за аплација за да се открие дали позиционалните информации се природно кодирани во дрвјата и кој вид на внимание е соодветно за вршење на рекурсивниот премин се обезбедени.

Abstract

അടുത്തിടെയുള്ള NLP ഗവേഷണത്തില്‍, താല്പര്യത്തിന്റെ ഒരു വിഷയത്തില്‍ പ്രധാനപ്പെട്ട വാക്കിന്റെ കോഡിങ്ങ് ആണ്, വാക്ക വാക്കിന്റെ സെക്കന്‍സ് നിലയില്‍, രണ്ടു പ്രശ്നങ്ങളില്‍ നിന്നും ശ്രദ്ധിക്കുന്ന മാതൃകങ്ങള്‍ പൂര്‍ണ്ണമായും ശ്രദ്ധിക്കുന്നു; വാക്കിന്റെ നീ ഒരു മരത്തിന്റെ സ്ഥാനം മാറ്റുന്നതിനാല്‍ വിവരങ്ങള്‍ വളരെ നല്ല സാങ്കേതിക വിവരങ്ങള്‍ പുറത്തെടുക്കാന്‍ കഴിയും. To this end, we propose Tree Transformer, a model that captures phrase level syntax for constituency trees as well as word-level dependencies for dependency trees by doing recursive traversal only with attention. നാലു പ്രവര്‍ത്തനങ്ങളില്‍ ഈ മോഡലിന്റെ മാത്രം നിര്‍ണ്ണയിക്കുന്നത് സാധാരണ മാറ്റങ്ങള്‍ക്കും LSTM അടിസ്ഥാനമായ മോഡലുകള്‍ക്കും വൃക്ഷത്ത വൃക്ഷങ്ങളില്‍ നിലനില്‍ക്കുന്ന സാധാരണ വിവരങ്ങള്‍ എന്‍കോഡ് ചെയ്യപ്പെടുന്നുണ്ടോ എന്നും തിരിച്ചറിയുന്ന വിവരങ്ങള്‍ ചെയ്യ

Abstract

Сүүлийн NLP судалгаанд, сонирхолтой сэдэв бол ертөнцөд өгүүлбэр кодлох, ямар ч удирдлагатай ажил дээр хэрэглэгдэж болох өгүүлбэр илэрхийлэх юм. Үүний дарааллын түвшинд, анхаарлын үндсэн загварууд хоёр асуудалтай болж байна: санамж хэрэглээний квадратик өргөн, синтактик мэдээллийг барьж, хэрэглэх боломжгүй. Рекурсив мэдрэлийн сүлжээг модны бүтээгдэхүүнд маш сайн синтактик мэдээлэл гаргаж чадна. Энэ төгсгөлд бид Tree Transformer-г зааж өгдөг. Энэ загвар нь загварын модын хэмжээний синтаксисийг, мөн хамааралтай модын хэмжээний хамааралтай байдал зөвхөн анхаарлаа дахин дахин дахин дахин дахин дахин дахин Энэ загварын үнэлгээ дөрвөн даалгаварын талаар нь стандарт шилжүүлэгч болон LSTM-ын суурилсан загвартай харьцуулахад үнэ цэнэтэй үр дүн гарна. Дараагийн мэдээллийг мод дотор кодлогдох эсэхийг олж мэдэх шаардлагатай судалгаанууд, дахин дахин дахин дахин дахин дахин дахин анхаарлаа хандуулах хэрэгтэй.

Abstract

Dalam kajian NLP baru-baru ini, topik yang berminat adalah pengekodan kalimat universal, perwakilan kalimat yang boleh digunakan dalam mana-mana tugas yang dikendalikan. Pada tahap urutan perkataan, model berdasarkan perhatian sepenuhnya menderita dari dua masalah: peningkatan kuadratik dalam konsumsi memori berkaitan dengan panjang kalimat dan ketidakmampu untuk menangkap dan menggunakan maklumat sintaktik. Rangkaian saraf rekursif boleh mengekstrak maklumat sintaktik yang sangat baik dengan menyeberangi struktur pokok. Untuk tujuan ini, kami cadangkan Tree Transformer, model yang menangkap sintaks aras frasa untuk pokok-pokok persembahan serta dependensi-aras perkataan untuk pokok dependensi dengan melakukan perjalanan rekursif hanya dengan perhatian. Evaluasi model ini pada empat tugas mendapat keputusan yang layak dicatat dibandingkan dengan pengubah piawai dan model berdasarkan LSTM serta LSTM struktur pokok. Penelitian kemampuan untuk mencari sama ada maklumat kedudukan secara alami dikodifikasikan dalam pokok dan jenis perhatian yang sesuai untuk melakukan perjalanan rekursif diberikan.

Abstract

Fir-riċerka reċenti tal-NLP, suġġett ta’ interess huwa l-kodifikazzjoni tas-sentenzi universali, ir-rappreżentazzjonijiet tas-sentenzi li jistgħu jintużaw fi kwalunkwe kompitu sorveljat. Fil-livell tas-sekwenza tal-kliem, mudelli bbażati fuq l-attenzjoni sħiħa jsofru minn żewġ problemi: żieda kwadratika fil-konsum tal-memorja fir-rigward tat-tul tas-sentenza u nuqqas ta’ kapaċità li tinqabad u tintuża informazzjoni sintetika. Ix-xbieki newrali rikorrettivi jistgħu jestraġu informazzjoni sintattika tajba ħafna billi jgħaddu minn struttura tas-siġar. Għal dan il-għan, nipproponu Tree Transformer, mudell li jaqbad sintaks tal-livell tal-frażi għas-siġar tal-kostitwenza kif ukoll id-dipendenzi fil-livell tal-kliem għas-siġar tad-dipendenza billi jsir traversal rikorrenti biss b’attenzjoni. L-evalwazzjoni ta’ dan il-mudell fuq erba’ kompiti tikseb riżultati notevoli meta mqabbla mat-trasformatur standard u l-mudelli bbażati fuq LSTM kif ukoll LSTMs strutturati fuq siġar. Studji dwar l-abbolazzjoni biex jinstabu jekk l-informazzjoni pożizzjonali hijiex inkodifikata b’mod inerenti fis-siġar u liema tip ta’ attenzjoni hija xierqa biex issir it-traversal rikorrenti huma pprovduti.

Abstract

In recent NLP onderzoek is universele zinscodering een onderwerp van interesse, zinsrepresentaties die kunnen worden gebruikt in elke begeleide taak. Op woordsequentieniveau hebben volledig aandachtsgebaseerde modellen twee problemen: een kwadratische toename van het geheugenverbruik ten opzichte van de lengte van de zin en een onvermogen om syntactische informatie vast te leggen en te gebruiken. Recursieve neurale netten kunnen zeer goede syntactische informatie extraheren door een boomstructuur te doorkruisen. Hiertoe stellen we Tree Transformer voor, een model dat de syntaxis op fraseniveau voor constitutiony trees en woordafhankelijkheden voor afhankelijkheidsbomen vastlegt door recursieve traversal alleen met aandacht uit te voeren. Evaluatie van dit model op vier taken levert opmerkelijke resultaten op ten opzichte van de standaard transformator- en LSTM-gebaseerde modellen en boomgestructureerde LSTMs. Ablatiestudies om te bepalen of positieinformatie inherent gecodeerd is in de bomen en welk type aandacht geschikt is voor het doen van de recursieve traversal worden verstrekt.

Abstract

I nyleg NLP-forskning er eit emne med interesse universelt setningskoding, setningssrepresentasjonar som kan brukast i alle oversikte oppgåver. På ordsekvensnivået har fleire oppmerksbaserte modeller to problemer: ein kvadratisk økning i minnebruk med hensyn til setningsslengden og ein ikkje i stand til å henta og bruka syntaksisk informasjon. Rekursiv neiralnett kan pakka ut veldig godt syntaktisk informasjon ved å overføra ei trestruktur. I denne slutten foreslår vi tretransformerer eit modell som hentar frasnivå syntaks for konstitusjonstrær og ordnivåavhengighet for avhengighetstrær ved å gjera berre rekursivt traversal med merking. Evaluering av denne modellen på fire oppgåver får merkelige resultat samanlikna med standardformeringsmodelane og LSTM-baserte modelane og tre-strukturerte LSTMs. Følgjande studiar for å finna om posisjonelle informasjon er innhaldet koda i tråne og kva type oppmerksomhet er passande for å gjera den rekursive traversalen.

Abstract

W ostatnich badaniach NLP tematem zainteresowania jest uniwersalne kodowanie zdań, reprezentacje zdań, które mogą być wykorzystywane w każdym nadzorowanym zadaniu. Na poziomie sekwencji słów modele w pełni oparte na uwadze cierpią z powodu dwóch problemów: kwadratowego wzrostu zużycia pamięci w odniesieniu do długości zdania oraz niemożności uchwycenia i wykorzystania informacji składniowych. Rekursywne sieci neuronowe mogą wydobywać bardzo dobre informacje składniowe poprzez przemierzanie struktury drzewa. W tym celu proponujemy Tree Transformer, model, który przechwytuje składnię poziomu fraz dla drzew okręgów wyborczych, a także zależności na poziomie słów dla drzew zależności, wykonując przemieszczanie rekursywne tylko z uwagą. Ocena tego modelu na czterech zadaniach uzyskuje godne uwagi wyniki w porównaniu ze standardowymi transformatorami i modelami opartymi na LSTM oraz strukturze drzewa LSTMami. Przeprowadzono badania ablacyjne mające na celu ustalenie, czy informacje o pozycji są naturalnie zakodowane w drzewach i jaki rodzaj uwagi jest odpowiedni do wykonywania rekursywnego przemieszczania.

Abstract

Em pesquisas recentes de PNL, um tópico de interesse é a codificação universal de sentenças, representações de sentenças que podem ser usadas em qualquer tarefa supervisionada. No nível da sequência de palavras, os modelos totalmente baseados em atenção sofrem de dois problemas: um aumento quadrático no consumo de memória em relação ao comprimento da frase e uma incapacidade de capturar e usar informações sintáticas. Redes neurais recursivas podem extrair informações sintáticas muito boas percorrendo uma estrutura de árvore. Para este fim, propomos o Tree Transformer, um modelo que captura a sintaxe em nível de frase para árvores constituintes, bem como dependências em nível de palavra para árvores de dependência, fazendo travessia recursiva apenas com atenção. A avaliação deste modelo em quatro tarefas obtém resultados notáveis em comparação com o transformador padrão e os modelos baseados em LSTM, bem como LSTMs estruturados em árvore. São fornecidos estudos de ablação para descobrir se a informação posicional é inerentemente codificada nas árvores e qual tipo de atenção é adequado para fazer a travessia recursiva.

Abstract

În cercetarea recentă a PNL, un subiect de interes este codificarea propozițiilor universale, reprezentări de propoziții care pot fi utilizate în orice sarcină supravegheată. La nivelul secvenței de cuvinte, modelele bazate pe atenție suferă de două probleme: o creștere cuadratică a consumului de memorie în raport cu lungimea propoziției și o incapacitate de a capta și utiliza informații sintactice. Rețelele neurale recursive pot extrage informații sintactice foarte bune traversând o structură arborească. În acest scop, propunem Tree Transformer, un model care capturează sintaxa la nivel de fraze pentru arborii de circumscripție, precum și dependențele la nivel de cuvinte pentru arborii de dependență prin efectuarea traversării recursive numai cu atenție. Evaluarea acestui model pe patru sarcini obține rezultate remarcabile în comparație cu modelele standard bazate pe transformatoare și LSTM, precum și cu LSTM structurate în arbori. Sunt furnizate studii de ablație pentru a afla dacă informațiile poziționale sunt codificate în mod inerent în copaci și ce tip de atenție este potrivit pentru efectuarea traversării recursive.

Abstract

В недавних исследованиях NLP предметом интереса является универсальное кодирование предложений, представления предложений, которые могут быть использованы в любой контролируемой задаче. На уровне последовательности слов полностью основанные на внимании модели сталкиваются с двумя проблемами: квадратичным увеличением потребления памяти по отношению к длине предложения и неспособностью захватывать и использовать синтаксическую информацию. Рекурсивные нейронные сети могут извлекать очень хорошую синтаксическую информацию, пересекая структуру дерева. Для этого мы предлагаем Tree Transformer, модель, которая фиксирует синтаксис уровня фраз для деревьев избирателей, а также зависимостей на уровне слов для деревьев зависимостей, выполняя рекурсивный обход только с вниманием. Оценка этой модели по четырем задачам получает заметные результаты по сравнению со стандартными трансформаторными моделями и моделями на основе LSTM, а также структурированными по дереву LSTM. Обеспечиваются исследования абляции для определения того, является ли информация о местоположении неотъемлемой частью деревьев и какой тип внимания подходит для выполнения рекурсивного обхода.

Abstract

අලුත් NLP පරීක්ෂණයේ ප්‍රශ්නයක් සාමාන්‍ය වාක්ය සංකේතය, වාක්ය සංකේතය, ප්‍රශ්නයක් ප්‍රශ්නයක් ප්‍රශ වචන පරීක්ෂණ ස්ථානයේදී, සුපූර්ණයෙන් අධික අධික ප්‍රශ්නයක් ප්‍රශ්නයක් දෙකක් වලින් ප්‍රශ්නයක් තියෙනවා: මතක පරීක්ෂ ප්‍රතික්‍රිය න්‍යුරෝල් ජාලය පුළුවන් ගොඩක් හොඳ සංකේතික තොරතුරු අරගෙන ගස්සක් සැකසුම් කරල මේ අවසානයෙන්, අපි ට්‍රි වෙනස් කරුණාකරුවාට ප්‍රයෝජනය කරනවා, ප්‍රයෝජනය සඳහා ප්‍රයෝජනය සඳහා ප්‍රයෝජනය සඳහා ප්‍රයෝජනය සඳහා වච මේ මොඩල් හතර වැඩේ අවශ්‍ය විශ්වාස කරන්න පුළුවන් ප්‍රමාණය වෙනස් කරන්න සහ LSTM-අධාරිත මොඩල් සහ ගස් සංස්ථාපිත LSTMs සඳ ස්ථානය තොරතුරු ගස් වල සංකේතනය කරලා තියෙන්නේ නැද්ද කියලා හොයාගන්න අවශ්‍ය අධ්‍යානය අවශ්‍ය විදියට සම්බන්ධය

Abstract

V nedavnih raziskavah NLP je zanimiva tema univerzalno kodiranje stavkov, predstavitve stavkov, ki jih je mogoče uporabiti pri kateri koli nadzorovani nalogi. Na ravni zaporedja besed imajo modeli, ki temeljijo na pozornosti, dve težavi: kvadratno povečanje porabe spomina glede na dolžino stavka in nezmožnost zajemanja in uporabe sintaktičnih informacij. Rekurzivne nevronske mreže lahko pridobijo zelo dobre sintaktične informacije s prehodom skozi drevesno strukturo. V ta namen predlagamo Tree Transformer, model, ki zajema sintakso ravni fraze za drevesa volilnih okrožij in odvisnosti na ravni besed za drevesa odvisnosti z rekurzivnim prehodom samo s pozornostjo. Ocenjevanje tega modela na štirih nalogah dobi pomembne rezultate v primerjavi s standardnimi transformatorskimi in LSTM modeli ter drevesno strukturiranimi LSTMi. Zagotovljene so študije ablacije, da bi ugotovili, ali so pozicijske informacije sama po sebi kodirane v drevesih in katera vrsta pozornosti je primerna za izvajanje rekurzivnega prehoda.

Abstract

Waxbarashada NLP ee ugu dambeeyey waxaa la xiriiraa arimaha xiisaha ah codsiga xafiiska caalamiga ah, noocyada xukunka ee lagu isticmaali karo shaqo kasta oo la ilaaliyo. Hadalka heerka isku qiyaasta waxaa ku xanuunsada tusaalooyin aad u tiirsan laba dhibaato ah: korodha isticmaalka xusuusta ee dhererka xubnaha iyo awoodin in la qabto iyo isticmaalo macluumaadka isku haysta. Internetka neurada ee dib u soo celinta waxay soo saari karaan macluumaad aad u wanaagsan oo la xiriira dhismaha geedka. Taas darteed waxaynu soo jeedaynaa wareegashada geedka, Tusaale ah oo ku qabsata geedaha muuqashada ku qoran ee heerka sintada, sidoo kale waxay ku xiran tahay geedaha ku xiran ee ku saabsan geedaha ku saabsan. Qiimeynta modellkan oo ku qoran afar shaqooyin wuxuu helaa resultooyin istareexsan oo la barbaro isbedelka standardka iyo tusaalaha ku saleysan LSTM iyo qoriga loo dhisay LSTMs. Waxbarashada tababarka waxaa laga helaa macluumaadka suurtagalka ah ee geedaha lagu qorayo iyo nooca uu u haboon yahay sameynta ganacsiga dib u soo celinta.

Abstract

In recent NLP research, a topic of interest is universal sentence encoding, sentence representations that can be used in any supervised task. Në nivelin e sekuencës së fjalëve, modelet plotësisht të bazuar në vëmendje vuajnë nga dy probleme: një rritje kuadratike në konsumin e kujtesës lidhur me gjatësinë e fjalës dhe një paaftësi për të kapur dhe përdorur informacion sintaktik. Rrjetet neurale rekursive mund të nxjerrin informacion sintaktik shumë të mirë duke kaluar përmes një strukture pemësh. Për këtë qëllim, ne propozojmë Tree Transformer, një model që përfshin sintaksin e nivelit të frazës për pemët e qarkut zgjedhor si dhe varësinë e nivelit të fjalës për pemët e varësisë duke bërë një kalim rekursiv vetëm me vëmendje. Vlerësimi i këtij modeli në katër detyra merr rezultate të rëndësishme krahasuar me transformuesin standard dhe modelet bazuar në LSTM si dhe LSTMs të strukturuara në pemë. Studimet e aftësisë për të gjetur nëse informacioni pozitiv është i koduar natyralisht në pemë dhe cili lloj vëmendjeje është i përshtatshëm për të bërë kalimin rekursiv janë dhënë.

Abstract

U nedavnim istraživanjima NLP-a, tema interesa je univerzalna kodiranja rečenica, predstavljanja rečenica koja se može koristiti u bilo kojem nadzornom zadatku. Na nivou sekvencije reèi, kompletno pažnje bazirani modeli pate od dva problema: kvadratièno povećanje potrošnje memorije u pogledu dužine rečenice i nesposobnosti da uhvati i koriste sintaktiène informacije. Rekursivne neuralne mreže mogu izvući veoma dobre sintaktične informacije traverzom strukture drveta. Za taj cilj predlažemo transformator drveta, model koji uključuje sintaks nivoa fraze za drveće konstitucije, kao i zavisnost riječi na nivou ovisnosti drveta samo sa pažnjom. Evaluacija ovog modela na četiri zadatke dobija primjećujuće rezultate u usporedbi s standardnom transformatorom i modelima na LSTM-u, kao i LSTMs-om na drvetu. Istraživanja otkazanja da bi pronašli da li je pozicionalna informacija unutrašnjost kodirana u drveću i koje vrste pažnje odgovaraju za postizanje rekursivnog traversala.

Abstract

I den senaste NLP-forskningen är ett ämne av intresse universell meningskodning, meningsrepresentationer som kan användas i alla övervakade uppgifter. På ordsekvensnivå lider helt uppmärksamhetsbaserade modeller av två problem: en kvadratisk ökning av minnesförbrukningen i förhållande till meningens längd och en oförmåga att fånga och använda syntaktisk information. Rekursiva neurala nät kan extrahera mycket bra syntaktisk information genom att korsa en trädstruktur. För detta ändamål föreslår vi Tree Transformer, en modell som fångar frasnivå syntax för valkretsträd samt ordnivå beroenden för beroendeträd genom att göra rekursiv korsning endast med uppmärksamhet. Utvärdering av denna modell på fyra uppgifter ger anmärkningsvärda resultat jämfört med standardtransformatormodeller och LSTM-baserade modeller samt trädstrukturerade LSTM-modeller. Ablationsstudier för att ta reda på om positionsinformation är inkodad i träden och vilken typ av uppmärksamhet som lämpar sig för att göra rekursiv traversal tillhandahålls.

Abstract

Katika utafiti wa NLP hivi karibuni, mada ya maslahi ni kuongezeka kwa hukumu ya kimataifa, uwakilishi wa hukumu ambao unaweza kutumika katika kazi yoyote inayofuatiliwa. Katika kiwango cha mfululizo wa maneno, mifano yenye msimamo mkali hupata matatizo mawili: kuongezeka kwa matumizi ya kumbukumbu kwa lengo la hukumu na kushindwa kushika na kutumia taarifa za pamoja. Mtandao wa kisasa unaweza kuondoa taarifa nzuri za ushirikiano kwa kuzuia muundo wa mti. Kwa mwisho huu, tunapendekeza Transfer wa Mti, modeli ambayo inachukua mfumo wa kiwango cha msemo kwa miti ya ubunge pamoja na kutegemea na miti ya neno kwa kutegemea miti ya kujitegemea kwa kufanya vifaa vya kutangaza tu kwa makini. Uchunguzi wa mtindo huu katika kazi nne unapata matokeo yanayofaa kulinganisha na mabadiliko ya kiwango cha kawaida na mifano ya msingi wa LSTM pamoja na zile zilizoundwa kwa mti wa LSTMs. Ablation studies to find whether positional information is inherently encoded in the trees and which type of attention is suitable for doing the recursive traversal are provided.

Abstract

அண்மையில் NLP ஆராய்ச்சியில், ஆர்வத்தின் தலைப்பு பொதுவான வாக்கின் குறியீடு, வாக்கியின் பிரதிநிதிகள் எந்த பாத வார்த்தை தொடர் நிலையில், முழுமையான கவனம் அடிப்படையான மாதிரிகள் இரண்டு பிரச்சனைகளிலிருந்து வருகிறது: வாக்கின் நீளத்தைக் கொண்டு நின திரும்பப் புதிய புதிய வலைப்புகள் ஒரு மரத்தின் அமைப்பை மாற்றியமைத்து மிகவும் நல்ல ஒத்திசைவு தகவலை வெளி இப்பொழுது, நாம் மரத்தின் மாற்றும் மாற்றுதலை பரிந்துரைக்கிறோம், ஒரு மாதிரி அது நிறுவனம் மரங்களுக்கான சொற்றொடர் நிலை ஒத்திசைநிலையை பிடித்த நான்கு பணிகளில் இந்த மாதிரியின் மதிப்பீடு குறிப்பிடும் முடிவுகள் தரமான மாற்றம் மற்றும் LSTM அடிப்படையிலான மாதிரிகளை ஒப்பிடும மரங்களில் நிலையான தகவல் குறியிடப்பட்டுள்ளதா என்பதை கண்டுபிடிக்கவும் மற்றும் திரும்பச் செய்ய எந்த வகையான கவனம் பொருத்தமானத

Abstract

NLP araştyrmalarynda, gyzyklanýan bir tema uniwersal sözlem kodlemesidir, sözlem işledilen işlemlerde ullanılabilir. Sözler serije derejesinde, tam üns tabanly modelleri iki problemden çykýar: sözlem uzunlygyny we sintaktik maglumaty ele almak we ulanmak üçin bir kvadratik artylygy bar. Rekursiv neiral şebekeler agaç strukturyny gaýşartyp örän gowy sintaktik maglumaty a çyp biler. Şu üçin agaç terjimesini teklip edip görýäris. Bu nusga constituency agaçlar üçin sözleriniň derejesi syntaksini we word derejesi baglaryň bağlygyny diňe çarpyşy diňe üns berip görýär. Bu nusganyň dört zadyň deňlenmesi standart transformer we LSTM daýanýan nusgalary we agaç-düzümlenmiş LSTM bilen deňleýän netijesi bar. Ýeri görnüş maglumatyň agaçlaryň içine kodlanýandygyny tapmak üçin kynçylyk öwrenmeleri.

Abstract

اچھی NLP تحقیقات میں، سوچ کا موضوع یونلورٹ وینلورٹ وینلورٹ وینلورٹ یونڈینڈ ہے، مجلس کی نمایش جو کسی نظارت کی کوشش میں استعمال کر سکتی ہے. کلمات سطح کے سطح میں، دو مشکلات سے پوری توجه کی مدلکوں کی وجہ سے ہوتی ہیں: کلمات کی طول اور سینٹکتیک معلومات کے بارے میں ایک چوٹراٹیک مزید مزید ہے۔ ایک درخت کی ساختاری کو ٹوٹ کر بہت اچھی سینٹکتیک معلومات اٹھا سکتے ہیں۔ یہاں تک، ہم تری ٹرنفسر کی پیشنهاد کرتے ہیں، ایک موڈل جو منظور درختوں کے لئے فرض سٹونکس کو پکڑتا ہے، اور واحد سٹونکس کے درختوں کے لئے واحد سٹونکس کے ذریعہ اور واحد سٹونسٹ سٹونکس کے ذریعہ صرف توجه کے سات اس موڈل کا ارزش چار کاموں پر مقرر ہوتا ہے جو استاندارڈ ترنسفور اور LSTM-بنیادی موڈل کے مقابلہ میں مقرر ہوتا ہے اور درخت-ساختہ LSTMs کے مقابلہ میں مقرر ہوتا ہے پیدا کرنے کے لئے قابل آزمائش کی تلاش کرتا ہے کہ آیا موقعیت معلومات درختوں میں پھیری جاتی ہے اور کس طرح کی توجه کو دوبارہ پھیرنے کے لئے مناسب ہے۔

Abstract

Yaqinda NLP taʼminlovchida, qiziqarli mavzu - universal sentence encoding, sentence representations - tashkilotga qoʻllaniladigan vazifalarda foydalanish mumkin. At the word sequence level, fully attention-based models suffer from two problems: a quadratic increase in memory consumption with respect to the sentence length and an inability to capture and use syntactic information. Name Bu sababda, biz daraxt tarjima qilishni tahlil qilamiz. Bu model, quvvat daraxtning imkoniyatlarining imkoniyatini va so'zlar darajadagi ishlatuvchi darajaga ishlatuvchilarga faqat raqamli narsalar bilan boshqarish mumkin. Name Name

Abstract

Trong nghiên cứu gần đây, một vấn đề đáng chú ý là mã hóa toàn cầu câu chữ, các biểu hiện bản án có thể sử dụng trong các nhiệm vụ được giám sát. Ở mức độ phân tích từ, các mô hình hoàn to àn dựa vào sự chú ý bị ảnh hưởng bởi hai vấn đề: một sự tăng dần tỉ lệ tiêu thụ trí nhớ về độ dài của bản án và một khả năng không chụp và sử dụng thông tin cú pháp. Rút dây thần kinh có thể lấy ra thông tin cú pháp rất tốt bằng cách băng qua cấu trúc cây. Để đạt được mục đích này, chúng tôi đề nghị Tree Transformer, một kiểu mẫu nắm bắt cấu trúc từ ngữ cho các cây bầu cử, cũng như các mối quan hệ từ ngữ cho các cây chủ động bằng việc chạy vòng quanh chỉ với sự chú ý. Bài đánh giá của mô hình này dựa trên bốn công việc đạt được kết quả đáng chú ý so với bộ chuyển hóa tiêu chuẩn và các mô hình dựa trên LSD cũng như sáng chế qua cây. Nghiên cứu định vị có phải được mã hóa nội dung thông tin trên cây không và xem loại nào thích hợp để chạy vòng quay lại không.

Abstract

近NLP研究,一题通用句编码,可于一切监督之句。其在词序,全在意力的模样有两个:相对于句子长度的记耗的二次增加及不得和用句法信息。递归神经网络可遍历树结构以取非常语法信。为此立 Tree Transformer,此一模也,专行递归遍历以获其短语级语法及树之单词。凡准变压器与LSTM之LSTM,与树之LSTM比,四务可得而值得注意也。资而论之,以见其位信编码于树中,与其所宜递归遍历。

Anthology ID:: P19-1030
Volume:: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics
Month:: July
Year:: 2019
Address:: Florence, Italy
Venue:: ACL
SIG:
Publisher:: Association for Computational Linguistics
Note:
Pages:: 316–322
Language:
URL:: https://aclanthology.org/P19-1030
DOI:: 10.18653/v1/P19-1030
Bibkey:
Cite (ACL):: Mahtab Ahmed, Muhammad Rifayat Samee, and Robert E. Mercer. 2019. You Only Need Attention to Traverse Trees. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 316–322, Florence, Italy. Association for Computational Linguistics.
Cite (Informal):: You Only Need Attention to Traverse Trees (Ahmed et al., ACL 2019)
Copy Citation:
PDF:: https://aclanthology.org/P19-1030.pdf
Video:: https://vimeo.com/384000960
Data: SST
Terminologies:

PDF Cite Search Translate Video