Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction

Christoph Alt; Marc Hübner; Leonhard Hennig

doi:10.18653/v1/P19-1134

Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction Name @ action Fine-tuning Name Ýakynda Ullanylan Ewez Et Chế độ chuyển biến hình ảnh

Christoph Alt, Marc Hübner, Leonhard Hennig

Abstract

Distantly supervised relation extraction is widely used to extract relational facts from text, but suffers from noisy labels. Current relation extraction methods try to alleviate the noise by multi-instance learning and by providing supporting linguistic and contextual information to more efficiently guide the relation classification. While achieving state-of-the-art results, we observed these models to be biased towards recognizing a limited set of relations with high precision, while ignoring those in the long tail. To address this gap, we utilize a pre-trained language model, the OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of common-sense knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. By extending the GPT to the distantly supervised setting, and fine-tuning it on the NYT10 dataset, we show that it predicts a larger set of distinct relation types with high confidence. Manual and automated evaluation of our model shows that it achieves a state-of-the-art AUC score of 0.422 on the NYT10 dataset, and performs especially well at higher recall levels.

Abstract

Afgeleë ondersoekte verhouding van uittrekking word heeltemal gebruik om relasionele fakte van teks te uittrek, maar lief van geluide etikette. Huidige verhouding van uittrekking metodes probeer om die geluid te alleen deur multi-instansies leer en deur ondersteunde lingwisiese en contextual inligting te verskaf na meer effektief die verhouding van klasifikasie te lei. Terwyl ons die state-of-the-art resultate bereik het, het ons hierdie modele aangesien om te wees voorspoedig teen 'n beperkte stel van verwantings met hoë presisie te herken, terwyl ons die wat in die lang stert is ignoreer. Om hierdie gap te adres, gebruik ons 'n voorafoerende taal model, die OpenAI Genereerde voorafoerende Transformeerder (GPT) (Radford et al., 2018). Die GPT en gelyke modele is vertoon om semantiese en sintaktiese funksies te vang, en ook 'n notaabele hoeveelheid van 'common-sense' kennis, wat ons hipotesis is belangrike funksies vir herken van 'n meer verskillende stel van relasies. Deur die GPT te uitbrei na die afgeleë ondersoekte instelling, en dit te fin-tuning op die NYT10 datastel, wys ons dat dit 'n groter stel van verskillende verwanting tipes met hoë vertrou voorskou. Hand en outomatiese evaluering van ons model wys dat dit 'n staat van die kunste AUC-telling van 0.422 op die NYT10-datastel bereik en spesiaal goed uitvoer by hoër rekening vlakke.

Abstract

ዶሴ `%s'ን ማስፈጠር አልተቻለም፦ %s የአሁኑ ግንኙነት አካባቢ ድምፅ በብዙ ምሳሌዎች በማስተማር እና የቋንቋዊ እና የአሁኑን መረጃ በመጠቀም የግንኙነት ግንኙነትን በተሻለ ለመመራት ይሞክራሉ፡፡ የ-አርእስት ውጤት ሲደርስ፣ እነዚህን ምሳሌዎች ከረጅም ጅራት ጋር ግንኙነት የተደረገውን ግንኙነት ለማወቅ የተቃወሙ ናቸው ብለን አየን፡፡ ይህንን ክፍል ለማግኘት፣ በፊት ተማርከው የቋንቋ ምሳሌ፣ የOpenAI ዘጠኝ በፊት-trained Transfer (GPT) (Radford et al., 2018). የGPT እና እንደዚህ የሚመስሉ ዓይነቶች የsemantic እና Syntactic እውቀትን ለመያዝ ታይተዋል፡፡ የGPT ግንኙነት ወደ ሩቅ ተጠቃሚው ማሰናከል እና በNYT10 ዳታ ማሰናከል እናሳየዋለን፡፡ የሞዴል አካባቢ እና የራሳቸውን ማስታወቂያ የNYT10 ዳታተር የ የአየር አየር የክፍል ሁኔታ አግኝቷል፡፡

Abstract

يُستخدم استخراج العلاقة الخاضع للإشراف على نطاق واسع لاستخراج الحقائق العلائقية من النص ، ولكنه يعاني من تسميات صاخبة. تحاول طرق استخراج العلاقة الحالية تخفيف الضجيج عن طريق التعلم متعدد الحالات ومن خلال توفير المعلومات اللغوية والسياقية الداعمة لتوجيه تصنيف العلاقة بشكل أكثر كفاءة. أثناء تحقيق أحدث النتائج ، لاحظنا أن هذه النماذج منحازة نحو الاعتراف بمجموعة محدودة من العلاقات بدقة عالية ، مع تجاهل تلك الموجودة في الذيل الطويل. لمعالجة هذه الفجوة ، نستخدم نموذج لغة مُدرَّب مسبقًا ، محول OpenAI Generative Generative Pre-Trainer (GPT) (Radford et al. ، 2018). لقد ثبت أن GPT والنماذج المماثلة تلتقط السمات الدلالية والنحوية ، وأيضًا قدرًا ملحوظًا من معرفة "الفطرة السليمة" ، والتي نفترض أنها سمات مهمة للتعرف على مجموعة أكثر تنوعًا من العلاقات. من خلال توسيع GPT إلى الإعداد الخاضع للإشراف عن بُعد ، وضبطه بدقة على مجموعة البيانات NYT10 ، نظهر أنه يتنبأ بمجموعة أكبر من أنواع العلاقات المميزة بثقة عالية. يُظهر التقييم اليدوي والآلي لنموذجنا أنه يحقق درجة AUC الحديثة البالغة 0.422 في مجموعة بيانات NYT10 ، ويعمل بشكل جيد بشكل خاص عند مستويات استدعاء أعلى.

Abstract

Mətndən əlaqələr çıxartmaq üçün uzaq müdafiə edilmiş əlaqələr çox istifadə edilir, amma gürültü etiketlərdən üz tutar. Şimdiki əlaqə çıxarma metodları çoxlu instansi öyrənməsi ilə səsini azaltmaq və dil və contextual məlumatlarını daha müvəffəqiyyətli olaraq dəstəkləndirmək üçün səsini daha çox asanlaşdırmaq istəyirlər. Sanat sonuçlarını başa çatdığımızda, bu modelləri yüksək dəqiqliklə müəyyən edilmiş ilişkiləri tanıtmaq üçün, uzun kuyruqda olanları görmək üçün müəyyən etdik. Bu boşluğu çəkmək üçün, öyrənmiş dil modelini, OpenAI Generativ Ön təhsil edilmiş Transformer (GPT) (Radford et al., 2018). GPT və bənzər modellər semantik və sintaktik xüsusiyyətləri almaq üçün göstərilmişdir, həmçinin də müxtəlif ilişkilərin tanıması üçün daha çox mövcuddur. GPT'i uzaq gözləyir quruluşa uzaqlaşdırmaq və NYT10 veri quruluğuna gözəl düzəltmək üçün göstəririk ki, bu böyük müxtəlif ilişki türlərini yüksək güvenilir ilə təmin edir. Bizim modelimizin əlli və automatlı değerlendirməsi göstərir ki, NYT10 veri qutusunda 0.422 dəqiqli AUC dəqiqliyini başa çatdırır və özlərinə də daha yüksək yada salma dəqiqliyində yaxşı işlər edir.

Abstract

Извличането на релационни факти от текста е широко използвано за извличане на релационни факти, но страда от шумни етикети. Настоящите методи за извличане на релации се опитват да облекчат шума чрез многоинстанционно обучение и чрез предоставяне на подкрепяща езикова и контекстуална информация, за да се ръководи по-ефективно класификацията на релациите. Докато постигахме най-съвременни резултати, наблюдавахме, че тези модели са предубедени към разпознаване на ограничен набор от отношения с висока точност, като същевременно игнорирахме тези в дългата опашка. За да преодолеем тази празнота, използваме предварително обучен езиков модел, генеративен предварително обучен трансформатор (Радфорд и др., 2018). Доказано е, че ГПТ и подобни модели улавят семантични и синтактични особености, както и забележително количество "здрав разум" знания, които предполагаме, че са важни особености за разпознаване на по-разнообразен набор от отношения. Чрез разширяване на GPT до дистанционно наблюдаваната обстановка и фина настройка на набора от данни показва, че той прогнозира по-голям набор от различни типове взаимоотношения с висока увереност. Ръчната и автоматизирана оценка на нашия модел показва, че той постига най-съвременен резултат от 0,422 на набора от данни и се представя особено добре при по-високи нива на припомняне.

Abstract

টেক্সট থেকে সম্পর্কের তথ্য বের করার জন্য ব্যাপক ব্যবহার করা হয়, কিন্তু শব্দ লেবেল থেকে কষ্ট পায়। বর্তমান সম্পর্ক বের করার পদ্ধতি অনেক উদাহরণ শিক্ষা দ্বারা শব্দ কমানোর চেষ্টা করে এবং ভাষাগত এবং বর্তমান তথ্য প্রদান করে যে সম্পর্কের বিভাগে আরো কার্যকর পরি যখন শিল্পের রাষ্ট্রের ফলাফল পৌঁছানোর সময় আমরা এই মডেলের বিরুদ্ধে দেখেছিলাম যে তারা উচ্চ পরিসূচিত সম্পর্কের সীমিত সংখ্যা স্বীকার করতে পারে, এই বিভ্রান্তির কথা বলার জন্য আমরা পূর্ব প্রশিক্ষিত ভাষার মডেল ব্যবহার করি, ওপেন এআই জেনারেটিভ প্রেক্ষাপট ট ট্রান্সফ্রেন্সার (জিপিট জিপিটি এবং একই ধরনের মডেল দেখা যাচ্ছে সেমান্টিক এবং সিন্ট্যাক্টিক বৈশিষ্ট্যের বৈশিষ্ট্য গ্রহণ করা এবং একই সাথে 'সাধারণ মানুষ' জ্ঞানের বিশেষ পরিমাণ জিপিটিকে দূরবর্তী পর্যবেক্ষণের সেটের দিকে প্রসারিত করে এবং NYT10 ডাটাটাসেটে সুন্দর সংক্রান্ত করে, আমরা দেখাচ্ছি যে এটি বেশী বিভিন্ন ধরনের সম্পর্ক আমাদের মডেলের মাধ্যমে এবং স্বয়ংক্রিয়ভাবে মূল্য প্রদর্শন করা হয়েছে যে এটি NYT10 ডাটাটাসেটে একটি রাষ্ট্রের স্কোর অর্জন করে এবং বিশেষ করে উচ্চ স্তরে প্রত্য

Abstract

Distantly supervised relation extraction is widely used to extract relational facts from text, but suffers from noisy labels. ད་ལྟོའི་འབྲེལ་ལམ་ནས་འཕར་རིས་ཐབས་ལམ་ལ་མིན་འདུག ང་ཚོས་གནས་སྟངས་དང་འཛམ་གླིང་ཁག་གི་གནད་སྡུད་ཁག་ཅིག་ལ་མཐོང་པ་དེ་རྣམས་མེད་པའི་མིག་རྣམས་དཔྱད་འདི་ཚོ་སྣང་རྟོགས་ཐབས་མེད། བར་སྟོང་འདི་དག་སྤྱད་ནས་གནད་དོན་གྱིས་སྔོན་གྲངས་འཛིན་པའི་སྐད་རིགས་དཔེ་དབྱིབས་ཞིག་བེད་སྤྱོད་ཀྱི་ཡོད། The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. By extending the GPT to the distantly supervised setting, and fine-tuning it on the NYT10 dataset, we show that it predicts a larger set of distinct relation types with high confidence. ང་ཚོའི་མིག་གཟུགས་ཀྱི་ལག་བཟོ་བ་དང་རང

Abstract

Daljinski nadzorni ekstrakcija odnosa se široko koristi za izvlačenje odnosanih činjenica iz teksta, ali pati od buknih etiketa. Trenutne metode izvlačenja odnosa pokušavaju smanjiti buku multiinstancijskim učenjem i pružajući podršku jezičkih i contextualnih informacija da učinkovitije vode klasifikaciju odnosa. Dok smo postigli rezultate umjetnosti, posmatrali smo te modele koje su predrasude prema priznanju ograničenog set a odnosa sa visokom preciznošću, dok ignoriramo one na dugom repu. Za rješavanje ovog praznika, koristimo predobučeni jezički model, predobučeni transformator OpenAI generacije (GPT) (Radford et al., 2018). Pokazani su GPT i slični modeli da uhvate semantične i sintaktične karakteristike, kao i poznatu količinu znanja "zajedničkog smisla", koje smo hipotezirali su važne karakteristike za prepoznavanje različitih skupina odnosa. Proširenjem GPT-a do dalekog nadzornog postavka i finaliziranjem na NYT10 podataka pokazujemo da predviđa veći set različitih vrsta odnosa sa visokom povjerenju. Ručna i automatska procjena našeg model a pokazuje da postigne rezultat AUC-a u stanju od 0,422 na NYT10 datasetu i održava posebno dobro na višem nivou sjećanja.

Abstract

L'extracció de relacions remotament supervisada s'utilitza ampliament per extrair fets relacionals del text, però pateix etiquetes sorolloses. Els mètodes actuals d'extracció de relacions intenten aliviar el soroll mitjançant aprenentatge multiinstants i proporcionant suport a informació lingüística i contextual per guiar més eficientment la classificació de relacions. Mentre vam aconseguir resultats més avançats, vam observar que aquests models estaven orientats cap a reconèixer un conjunt limitat de relacions amb alta precisió, ignorant-los a la llarga cua. Per superar aquesta diferència, utilitzem un model de llenguatge pré-entrenat, el Transformer Pré-entrenat Generatiu OpenAI (GPT) (Radford et al., 2018). S'ha demostrat que el GPT i models similars capturen característiques semàntiques i sinàctiques, i també una quantitat notable de coneixements de "sentit comú", que hipòtesis són característiques importants per reconèixer un conjunt de relacions més diversificats. Ampliant el GPT a la configuració remotament supervisada i ajustando-lo al conjunt de dades NYT10, demostram que prediu un conjunt més gran de tipus de relació distints amb alta confiança. L'evaluació manual i automatitzada del nostre model mostra que aconsegueix una puntuació AUC de 0,422 en el conjunt de dades NYT10, i funciona especialment bé a nivells de recuperació més alts.

Abstract

Extrakce vzdáleně dohlížených vztahů se široce používá k extrakci relačních faktů z textu, ale trpí hlučnými označeními. Současné metody extrakce vztahů se snaží zmírnit šum pomocí víceinstančního učení a poskytováním podpůrných jazykových a kontextových informací pro efektivnější řízení klasifikace vztahů. Při dosahování nejmodernějších výsledků jsme pozorovali, že tyto modely jsou zaujaté k rozpoznání omezené soubory vztahů s vysokou přesností, přičemž ignorujeme ty v dlouhém ocasu. K řešení této mezery používáme předškolený jazykový model OpenAI Generative Pre-Training Transformer (GPT) (Radford et al., 2018). Bylo ukázáno, že GPT a podobné modely zachycují sémantické a syntaktické rysy, a také pozoruhodné množství "zdravého rozumu" znalostí, které hypotézujeme, že jsou důležitými rysy pro rozpoznání rozmanitějšího souboru vztahů. Rozšířením GPT na vzdáleně dohlížené nastavení a jemným laděním na datové sadě NYT10 ukazujeme, že předpovídá větší sadu různých typů vztahů s vysokou spolehlivostí. Manuální a automatizované vyhodnocení našeho modelu ukazuje, že dosahuje nejmodernějšího AUC skóre 0,422 na datové sadě NYT10 a že se výborně výkonně vede při vyšších úrovních odvolání.

Abstract

Afstandsovervåget relation ekstraktion bruges i vid udstrækning til at udtrække relationelle fakta fra tekst, men lider af støjende etiketter. Nuværende relationsudvindingsmetoder forsøger at lindre støjen ved at lære flere instanser og ved at give understøttelse af sproglige og kontekstuelle oplysninger til mere effektivt at styre relationsklassificeringen. Mens vi opnåede state-of-the-art resultater, observerede vi, at disse modeller var partiske i retning af at anerkende et begrænset sæt relationer med høj præcision, mens vi ignorerede dem i den lange hale. For at afhjælpe dette hul bruger vi en forududdannet sprogmodel, OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). GPT og lignende modeller har vist sig at fange semantiske og syntaktiske træk, og også en bemærkelsesværdig mængde 'sund fornuft' viden, som vi antager er vigtige træk for at anerkende et mere forskelligartet sæt relationer. Ved at udvide GPT til den fjernt overvågede indstilling og finjustere den på NYT10 datasættet, viser vi, at det forudsiger et større sæt af forskellige relationstyper med høj tillid. Manuel og automatiseret evaluering af vores model viser, at den opnår en state-of-the-art AUC score på 0,422 på NYT10 datasættet, og fungerer især godt ved højere tilbagekaldelsesniveauer.

Abstract

Fernüberwachte Beziehungsextraktion wird häufig verwendet, um relationale Fakten aus Text zu extrahieren, leidet aber unter lauten Beschriftungen. Aktuelle Beziehungsextraktionsmethoden versuchen, das Rauschen durch mehrinstanzliches Lernen zu verringern und unterstützende linguistische und kontextbezogene Informationen bereitzustellen, um die Beziehungsklassifizierung effizienter zu steuern. Während wir State-of-the-Art Ergebnisse erzielten, beobachteten wir, dass diese Modelle voreingenommen waren, eine begrenzte Menge von Beziehungen mit hoher Präzision zu erkennen, während sie diejenigen im Long Tail ignorierten. Um diese Lücke zu schließen, verwenden wir ein vortrainiertes Sprachmodell, den OpenAI Generative Pre-Trained Transformer (GPT) (Radford et al., 2018). Es wurde gezeigt, dass die GPT und ähnliche Modelle semantische und syntaktische Merkmale erfassen, sowie eine bemerkenswerte Menge an "gesundem Menschenverstand" Wissen, von dem wir annehmen, dass es wichtige Merkmale für die Erkennung einer vielfältigeren Gruppe von Beziehungen sind. Durch die Erweiterung des GPT auf die fernüberwachte Einstellung und die Feinabstimmung auf dem NYT10-Datensatz zeigen wir, dass es einen größeren Satz von verschiedenen Beziehungstypen mit hoher Sicherheit vorhersagt. Die manuelle und automatisierte Auswertung unseres Modells zeigt, dass es einen hochmodernen AUC-Score von 0.422 auf dem NYT10-Datensatz erzielt und besonders bei höheren Rückrufstufen gut abschneidet.

Abstract

Η εξ αποστάσεως εποπτευόμενη εξαγωγή σχέσεων χρησιμοποιείται ευρέως για την εξαγωγή σχεσιακών γεγονότων από το κείμενο, αλλά πάσχει από θορυβώδεις ετικέτες. Οι τρέχουσες μέθοδοι εξαγωγής σχέσεων προσπαθούν να ανακουφίσουν το θόρυβο μέσω της εκμάθησης πολλαπλών περιπτώσεων και παρέχοντας υποστηρικτικές γλωσσικές και περιεκτικές πληροφορίες για να καθοδηγήσουν αποτελεσματικότερα την ταξινόμηση των σχέσεων. Ενώ επιτύχαμε αποτελέσματα τελευταίας τεχνολογίας, παρατηρήσαμε ότι αυτά τα μοντέλα ήταν προκατειλημμένα στην αναγνώριση ενός περιορισμένου συνόλου σχέσεων με υψηλή ακρίβεια, ενώ αγνοούσαμε αυτές στην μακριά ουρά. Για να αντιμετωπιστεί αυτό το χάσμα, χρησιμοποιούμε ένα προ-εκπαιδευμένο γλωσσικό μοντέλο, τον Generative Pre-Trained Transformer (GPT) (Radford et al., 2018). Το GPT και παρόμοια μοντέλα έχουν αποδειχθεί ότι συλλαμβάνουν σημασιολογικά και συντακτικά χαρακτηριστικά, καθώς και ένα αξιοσημείωτο ποσό της "κοινής λογικής" γνώσης, οι οποίες υποθέτουμε ότι είναι σημαντικά χαρακτηριστικά για την αναγνώριση ενός πιο διαφορετικού συνόλου σχέσεων. Επεκτείνοντας το GPT στην απομακρυσμένα εποπτευόμενη ρύθμιση, και βελτιστοποιώντας το στο σύνολο δεδομένων δείχνουν ότι προβλέπει ένα μεγαλύτερο σύνολο διαφορετικών τύπων σχέσεων με υψηλή εμπιστοσύνη. Η χειρωνακτική και αυτοματοποιημένη αξιολόγηση του μοντέλου μας δείχνει ότι επιτυγχάνει μια υπερσύγχρονη βαθμολογία AUC 0.422 στο σύνολο δεδομένων και αποδίδει ιδιαίτερα καλά σε υψηλότερα επίπεδα ανάκλησης.

Abstract

La extracción de relaciones supervisada a distancia se usa ampliamente para extraer hechos relacionales del texto, pero sufre de etiquetas ruidosas. Los métodos actuales de extracción de relaciones tratan de aliviar el ruido mediante el aprendizaje de múltiples instancias y al proporcionar información lingüística y contextual de apoyo para guiar de manera más eficiente la clasificación de las relaciones. Mientras se lograban resultados de vanguardia, observamos que estos modelos estaban sesgados hacia el reconocimiento de un conjunto limitado de relaciones con alta precisión, al tiempo que ignoraban las de la cola larga. Para abordar esta brecha, utilizamos un modelo de lenguaje preentrenado, el Transformador Generativo Preentrenado (GPT) de OpenAI (Radford et al., 2018). Se ha demostrado que la GPT y modelos similares capturan características semánticas y sintácticas, y también una cantidad notable de conocimiento de «sentido común», que según nuestra hipótesis son características importantes para reconocer un conjunto más diverso de relaciones. Al extender el GPT al entorno supervisado a distancia y ajustarlo en el conjunto de datos NYT10, demostramos que predice un conjunto más amplio de tipos de relación distintos con alta confianza. La evaluación manual y automatizada de nuestro modelo muestra que logra una puntuación AUC de última generación de 0,422 en el conjunto de datos NYT10, y que funciona especialmente bien en niveles de recuperación más altos.

Abstract

Kaugjärelevalvega seoste ekstraheerimist kasutatakse laialdaselt seosfaktide ekstraheerimiseks tekstist, kuid see kannatab mürakate märgistuste all. Praegused suhete ekstraheerimise meetodid püüavad müra leevendada mitmeastmelise õppimise abil ning pakkudes toetavat keelelist ja kontekstiteavet seoste klassifitseerimise tõhusamaks juhtimiseks. Täiustatud tulemuste saavutamisel täheldasime, et need mudelid on erapooletud piiratud suhete kogumi ülitäpse täpsusega äratundmisele, ignoreerides samas pika saba omadusi. Selle lünga kõrvaldamiseks kasutame eelkoolitud keelemudelit OpenAI generatiivset eelkoolitud transformaatorit (GPT) (Radford jt., 2018). GPT ja sarnased mudelid on näidanud, et need hõlmavad semantilisi ja süntaktilisi omadusi, samuti märkimisväärset hulka "terve mõistuse" teadmisi, mida me oletame olevat olulised omadused mitmekesisemate suhete tuvastamisel. Laiendades GPT kaugelt jälgitavatele seadmetele ja täpsustades seda NYT10 andmekogumil, näitame, et see prognoosib suuremat hulka erinevaid suhtetüüpe suure usaldusväärsusega. Meie mudeli käsitsi ja automatiseeritud hindamine näitab, et see saavutab NYT10 andmekogumil kaasaegse AUC skoori 0,422 ja toimib eriti hästi kõrgemate tagasivõtmistasemete korral.

Abstract

اخراج رابطه‌های دورتر تحت نظر قرار گرفته برای اخراج حقیقت رابطه از متن استفاده می‌شود، ولی از نقاط صوتی رنج می‌دهد. روش‌های استخراج رابطه‌ی جاری سعی می‌کند صدا را با یادگیری بسیاری از مطالعه‌ها کمتر کند و از طریق پشتیبانی اطلاعات زبان‌شناسی و موقعیت‌های موقعیت‌تر برای راهنمایی رابطه‌های رابطه‌ها به در حالی که به رسیدن نتایج هنری، ما این مدلها را مشاهده کردیم که برای شناختن یک مجموعه محدود رابطه با دقیق بالا باشند، در حالی که آنها را در دنبال طولانی نادیده می دهند. برای حل این فاصله، ما یک مدل پیش آموزش زبانی را استفاده می کنیم، تغییردهنده پیش آموزش پیش آموزش پیش از نسل OpenAI (GPT) (Radford et al., 2018). GPT و مدل‌های مشابه نشان داده شده‌اند تا ویژگی‌های semantic و syntactic را بگیرند، و همچنین یک مقدار معرفی از دانش‌های "common-sense"، که ما فرض می‌کنیم، ویژگی‌های مهم برای شناختن یک مجموعه‌ی رابطه‌های مختلف‌تر است. با گسترش GPT به تنظیمات کنترل دور و تنظیمش در مجموعه داده های NYT10، نشان می دهیم که آن یک مجموعه بزرگتر از نوع ارتباط متفاوتی با اعتماد بالا پیش بینی می کند. ارزیابی دستی و اتوماتیک مدل ما نشان می دهد که آن یک امتیاز AUC در حالت هنر 0.422 در مجموعه داده‌های NYT10 را می‌رساند و مخصوصا در سطح یادآوری بالاتر انجام می‌دهد.

Abstract

Kaukana valvottua suhdeuuttamista käytetään laajalti suhteellisten faktojen poimimiseen tekstistä, mutta se kärsii meluisista etiketeistä. Nykyaikaiset suhdeuuttamismenetelmät pyrkivät lievittämään melua monitasoisella oppimisella ja tarjoamalla tukevaa kielellistä ja kontekstuaalista tietoa suhdeluokittelun ohjaamiseksi tehokkaammin. Saavuttaessamme viimeisimpiä tuloksia huomasimme näiden mallien olevan puolueellisia tunnistamaan rajalliset suhteet erittäin tarkasti, mutta sivuuttaen pitkän hännän. Tämän puutteen korjaamiseksi käytämme esikoulutettua kielimallia, OpenAI Generative Pre-Trained Transformer (GPT) (Radford et al., 2018). GPT:n ja vastaavien mallien on osoitettu kuvaavan semanttisia ja syntaktisia piirteitä sekä huomattavan määrän "tervejärkistä" tietoa, jonka otaksumme olevan tärkeitä ominaisuuksia erilaisten suhteiden tunnistamisessa. Laajentamalla GPT:n etävalvottuun ympäristöön ja hienosäätämällä sitä NYT10-aineistoon osoitamme, että se ennustaa suuremman joukon erillisiä suhdetyyppejä suurella varmuudella. Mallimme manuaalinen ja automatisoitu arviointi osoittaa, että se saavuttaa NYT10-aineistossa huipputason AUC-pisteen 0,422 ja toimii erityisen hyvin korkeammilla palautustasoilla.

Abstract

L'extraction de relations supervisée à distance est largement utilisée pour extraire des faits relationnels du texte, mais elle souffre d'étiquettes bruyantes. Les méthodes actuelles d'extraction de relations tentent d'atténuer le bruit en apprenant plusieurs instances et en fournissant des informations linguistiques et contextuelles de soutien pour guider plus efficacement la classification des relations. Tout en obtenant des résultats de pointe, nous avons observé que ces modèles étaient biaisés vers la reconnaissance d'un ensemble limité de relations avec une grande précision, tout en ignorant celles de la longue traîne. Pour combler cette lacune, nous utilisons un modèle de langage pré-formé, le OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). Il a été démontré que le GPT et les modèles similaires capturent des caractéristiques sémantiques et syntaxiques, ainsi qu'une quantité notable de connaissances de « bon sens », que nous supposons être des caractéristiques importantes pour reconnaître un ensemble de relations plus diversifié. En étendant le GPT au paramètre supervisé de manière distante et en l'ajustant avec précision sur le jeu de données NYT10, nous montrons qu'il prédit un ensemble plus large de types de relations distincts avec un niveau de confiance élevé. L'évaluation manuelle et automatisée de notre modèle montre qu'il atteint un score AUC de pointe de 0,422 sur l'ensemble de données NYT10, et qu'il fonctionne particulièrement bien à des niveaux de rappel plus élevés.

Abstract

Baintear úsáid go forleathan as eastóscadh gaol atá faoi chian-mhaoirseacht chun fíricí coibhneasta a bhaint as téacs, ach bíonn sé thíos le lipéid fhuaimiúla. Déanann modhanna reatha asbhainte caidrimh iarracht an torann a mhaolú trí fhoghlaim ilchéime agus trí fhaisnéis tacaíochta teanga agus chomhthéacsúil a sholáthar chun an t-aicmiú caidrimh a threorú ar bhealach níos éifeachtaí. Agus torthaí úrscothacha á mbaint amach againn, thugamar faoi deara go raibh na samhlacha seo claonta i dtreo sraith theoranta caidrimh a aithint le cruinneas ard, agus neamhaird á tabhairt ar na cinn san eireaball fada. Chun aghaidh a thabhairt ar an mbearna seo, bainimid úsáid as samhail teanga réamh-oilte, an OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). Taispeánadh go nglacann an GPT agus samhlacha comhchosúla gnéithe shéimeantacha agus comhréire, chomh maith le méid suntasach eolais “ciallmhar”, a dtugaimid hipitéis dó gur gnéithe tábhachtacha iad chun sraith caidrimh níos éagsúla a aithint. Tríd an GPT a leathnú chuig an suíomh atá faoi mhaoirseacht i bhfad i gcéin, agus é a mhionchoigeartú ar thacar sonraí NYT10, léirímid go bhfuil sé ag tuar sraith níos mó de chineálacha caidrimh ar leith le muinín ard. Léiríonn meastóireacht láimhe agus uathoibrithe ar ár múnla go mbaineann sé amach scór AUC úrscothach de 0.422 ar thacar sonraí NYT10, agus go bhfeidhmíonn sé go háirithe go maith ag leibhéil athghairme níos airde.

Abstract

@ action: button Shiryoyin cire-ɗabi'a da ake kai yanzu, sunã jarraba su sauƙaƙara sau da wasu misali masu amfani da kuma a bãyar da taimakon taimakon linguistic da takardan haɗi zuwa ko mafi fasan shiryarwa ga fassarar da mazaɓa. A lokacin da muka sami fassarar-sanar, sai mu gane waɗannan misãlai zuwa su haramta su zuwa gane masu da tsari mai ƙayyade da sarki, kuma sai ka manta masu cikin ƙari mai tsawo. Domin ka yi magana ga wannan gap, za'a yi amfani da wani misalin harshen zaman-haƙƙin, the Open AI General Pre-Training Transformer (GPT) (Radord et al., 2018). An nuna GPT da misãlai kamar shi dõmin su kãma wasu tsari na semantic da syntactic, da kuma ma'aunin ƙidãya na 'sanki'a ɗabi'a', da kuma masu ƙayyade masu yiwuwa da munafukata masu muhimu ne ga ganin wasu daidaita dabam-dabam. Ga ku cire GPT zuwa tsarin da aka tsare shi mai nĩsa, kuma masu gyare da shi a kan tsarin NYT10, za mu nuna cewa, shi yana gabani da wasu masu ƙaranci masu haɗi na daban-dabam da gaskiyar tabbaci. Ana iya ƙayyade misalin mu da hannun da farat ɗaya yana nuna cewa yana sãmun wata-state-of-the-art-AUC score 0.422 kan the NYT10 dataset, kuma yana aikata shi mai kyau cikin daraja mafi girma.

Abstract

חוטפת מערכת יחסים ששולטת מרחוק משתמשת באופן רחב כדי להוציא עובדות יחסיות מהטקסט, אך סובלת מטיוטים רעשים. שיטות קישור מערכות היחסים הנוכחיות מנסים להקל את הרעש על ידי לימוד במספר מקרים ובידי לספק תמיכה מידע שפתי וקונטקטי בעוד השגנו תוצאות חדשות, צפינו בדוגמנים האלה להיות מועמדים להכיר קבוצה מוגבלת של יחסים עם מדויקה גבוהה, בזמן שהתעלמנו מאלה בזנב הארוך. כדי להתמודד עם הפער הזה, אנו משתמשים במודל שפה מאומן מראש, המעבר מאומן מראש של OpenAI (GPT) (Radford et al., 2018). הג'י.פי.טי. ודוגמנים דומים הוראו לכלוף תכונות סמנטיות וסינטקטיקות, וגם כמות משמעותית של ידע "הגיון הנפשי", שאנחנו מניחים שהם תכונות חשובות לזהות קבוצה יותר מגוונת של יחסים. על ידי ההארכה של הג'י.פי.טי לסטה המבוטחת מרחוק, ולהגדיר את זה בסט הנתונים של NYT10, אנו מראים שהוא חושף קבוצה גדולה יותר של סוגי יחסים ברורים עם ביטחון גבוה. Manual and automated evaluation of our model shows that it achieves a state-of-the-art AUC score of 0.422 on the NYT10 dataset, and performs especially well at higher recall levels.

Abstract

दूर से पर्यवेक्षित संबंध निष्कर्षण व्यापक रूप से पाठ से संबंधपरक तथ्यों को निकालने के लिए उपयोग किया जाता है, लेकिन शोर लेबल से पीड़ित है। वर्तमान संबंध निष्कर्षण विधियां बहु-उदाहरण सीखने द्वारा शोर को कम करने का प्रयास करती हैं और संबंध वर्गीकरण को अधिक कुशलता से मार्गदर्शन करने के लिए भाषाई और प्रासंगिक जानकारी का समर्थन करती हैं। अत्याधुनिक परिणामों को प्राप्त करते समय, हमने इन मॉडलों को उच्च परिशुद्धता के साथ संबंधों के एक सीमित सेट को पहचानने की दिशा में पक्षपाती होने के लिए देखा, जबकि लंबी पूंछ में उन लोगों को अनदेखा किया। इस अंतर को दूर करने के लिए, हम एक पूर्व-प्रशिक्षित भाषा मॉडल, ओपनएआई जेनरेटर पूर्व-प्रशिक्षित ट्रांसफॉर्मर (जीपीटी) (रैडफोर्ड एट अल। जीपीटी और इसी तरह के मॉडल को शब्दार्थ और वाक्यात्मक विशेषताओं को पकड़ने के लिए दिखाया गया है, और "सामान्य ज्ञान" ज्ञान की एक उल्लेखनीय राशि भी है, जिसे हम परिकल्पना करते हैं कि संबंधों के अधिक विविध सेट को पहचानने के लिए महत्वपूर्ण विशेषताएं हैं। जीपीटी को दूर से पर्यवेक्षित सेटिंग तक विस्तारित करके, और इसे NYT10 डेटासेट पर ठीक-ट्यूनिंग करके, हम दिखाते हैं कि यह उच्च आत्मविश्वास के साथ अलग-अलग संबंध प्रकारों के एक बड़े सेट की भविष्यवाणी करता है। हमारे मॉडल के मैनुअल और स्वचालित मूल्यांकन से पता चलता है कि यह NYT10 डेटासेट पर 0.422 का अत्याधुनिक AUC स्कोर प्राप्त करता है, और उच्च याद स्तरों पर विशेष रूप से अच्छा प्रदर्शन करता है।

Abstract

Uzimanje udaljenog nadzornog odnosa široko se koristi za izvlačenje odnosanih činjenica iz teksta, ali pati od buknih etiketa. Trenutne metode izvlačenja odnosa pokušavaju smanjiti buku višestrukim učenjima i pružajući podršku jezičkih i contextualnih informacija kako bi učinkovitije vodili klasifikaciju odnosa. Dok smo postigli rezultate umjetnosti, posmatrali smo te modele koje su predrasude prema priznanju ograničenog skupa odnosa sa visokom preciznošću, dok ignoriramo one na dugom repu. Za rješavanje ovog praznika, koristimo predobučeni jezički model, predobučeni transformator OpenAI generacije (GPT) (Radford et al., 2018). Pokazani su GPT i slični modeli kako bi uhvatili semantičke i sintaktičke karakteristike, a također poznatu količinu znanja "zajedničkog smisla", koje smo pretpostavljali su važne karakteristike za prepoznavanje raznolikosti odnosa. Proširenjem GPT-a do daleko nadziranog postavka i finaliziranjem na NYT10 podataka pokazujemo da predviđa veći niz različitih vrsta odnosa s visokom povjerenju. Ručna i automatska procjena našeg model a pokazuje da postigne rezultat AUC-a u stanju od 0,422 na NYT10 dataset, i održava posebno dobro na višim razinama sjećanja.

Abstract

A távolról felügyelt kapcsolatkivonást széles körben használják a relatív tények kivonására a szövegből, de zajos címkéktől szenved. A jelenlegi kapcsolatkivonási módszerek megpróbálják enyhíteni a zajt többpéldányos tanulással, valamint a nyelvi és kontextuális információk támogatásával, hogy hatékonyabban irányítsák a kapcsolatok osztályozását. A legkorszerűbb eredmények elérése mellett megfigyeltük, hogy ezek a modellek elfogultak a korlátozott kapcsolatok nagy pontossággal történő felismerésére, miközben figyelmen kívül hagytuk a hosszú farokban lévőket. Ennek a hiányosságnak a kezelésére egy előre képzett nyelvi modellt használunk, az OpenAI Generative Pre-Training Transformert (GPT) (Radford et al., 2018). A GPT és hasonló modellek kimutatták, hogy megragadják a szemantikai és szintaktikai jellemzőket, valamint jelentős mennyiségű "józan ész" ismereteket, amelyek feltételezésünk szerint fontos jellemzők a sokszínűbb kapcsolatok felismeréséhez. A GPT kiterjesztésével a távolról felügyelt beállításra, és finomhangolásával a NYT10 adatkészleten megmutatjuk, hogy nagyobb bizalommal előrejelzi a különböző kapcsolattípusokat. Modellünk manuális és automatizált értékelése azt mutatja, hogy a NYT10 adatkészleten 0,422 AUC pontszámot ér el, és különösen jól teljesít magasabb visszahívási szinteken.

Abstract

Հեռու վերահսկվող հարաբերությունների վերացումը լայնորեն օգտագործվում է հարաբերական փաստեր տեքստից դուրս հանելու համար, բայց տառապում է աղմկոտ պիտակներից: Current relation extraction methods try to alleviate the noise by multi-instance learning and by providing supporting linguistic and contextual information to more efficiently guide the relation classification. Երբ մենք հասնում էինք ամենահետաքրքիր արդյունքների, մենք նկատեցինք, որ այս մոդելները կողմնականում են բարձր ճշգրտությամբ սահմանափակ հարաբերությունների ճանաչելու համար, չնայած դրանց երկար պոչը: Այս բացը լուծելու համար մենք օգտագործում ենք նախապատրաստված լեզվի մոդելը, OpenAI-ի գեներատիվ նախապատրաստված տրանֆերմերն (GPT) (Ռադֆորդ և այլն., 2018 թ): The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. ՀԳԹ-ն ընդլայնելով հեռավոր վերահսկվող սահմաններին և բարձրացնելով այն NYT10 տվյալների համակարգում, մենք ցույց ենք տալիս, որ այն կանխատեսում է բազմաթիվ վստահությամբ բազմաթիվ տարբեր հարաբերությունների տեսակներ: Մեր մոդելի ձեռավարական և ավտոմատիկ գնահատումը ցույց է տալիս, որ այն հասնում է NYT10 տվյալների համակարգում 0.422 լավագույն ԱՍՔ-ի գնահատման և հատկապես լավ է աշխատում ավելի բարձր մակարդակներում:

Abstract

Ekstrasi hubungan yang diawasi jauh digunakan secara luas untuk mengekstrak fakta relatif dari teks, tetapi menderita dari label bunyi. Metode ekstraksi hubungan saat ini mencoba untuk mengurangi suara dengan belajar multi-instance dan dengan menyediakan dukungan informasi bahasa dan kontekstual untuk lebih efisien memimpin klasifikasi hubungan. Sementara mencapai hasil state-of-the-art, kami memperhatikan model-model ini menjadi biased untuk mengenali set terbatas hubungan dengan presisi tinggi, sementara mengabaikan mereka di ekor panjang. Untuk mengatasi kekacauan ini, kami menggunakan model bahasa yang terlatih sebelumnya, OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). GPT dan model yang sama telah ditunjukkan untuk menangkap fitur semantis dan sintaksi, dan juga jumlah pengetahuan 'common-sense', yang kami hipotesis adalah fitur penting untuk mengenali set hubungan yang lebih berbeda. Dengan memperluas GPT ke pengaturan yang diawasi jauh, dan memperbaikinya di dataset NYT10, kami menunjukkan bahwa ia memprediksi set yang lebih besar dari tipe hubungan yang berbeda dengan kepercayaan tinggi. Evaluasi manual dan otomatis dari model kami menunjukkan bahwa ia mencapai skor AUC state-of-the-art 0,422 pada dataset NYT10, dan berjalan khusus baik di tingkat recall yang lebih tinggi.

Abstract

L'estrazione di relazioni supervisionate a distanza è ampiamente usata per estrarre fatti relazionali dal testo, ma soffre di etichette rumorose. Gli attuali metodi di estrazione delle relazioni cercano di alleviare il rumore attraverso l'apprendimento multi-istanza e fornendo informazioni linguistiche e contestuali di supporto per guidare in modo più efficiente la classificazione delle relazioni. Pur ottenendo risultati all'avanguardia, abbiamo osservato che questi modelli erano di parte verso il riconoscimento di un insieme limitato di relazioni con alta precisione, ignorando quelli nella coda lunga. Per ovviare a questa lacuna, utilizziamo un modello linguistico pre-addestrato, il Transformer Pre-addestrato Generativo OpenAI (GPT) (Radford et al., 2018). Il GPT e modelli simili hanno dimostrato di catturare caratteristiche semantiche e sintattiche, e anche una notevole quantità di conoscenza del "buon senso", che ipotizzamo siano caratteristiche importanti per riconoscere un insieme più diversificato di relazioni. Estendendo il GPT all'impostazione supervisionata a distanza e regolandolo sul set di dati NYT10, mostriamo che prevede un insieme più ampio di tipi di relazione distinti con alta fiducia. La valutazione manuale e automatizzata del nostro modello mostra che raggiunge un punteggio AUC all'avanguardia di 0,422 sul set di dati NYT10, e si comporta particolarmente bene a livelli di richiamo più elevati.

Abstract

遠隔監視下の関係抽出は、テキストから関係事実を抽出するために広く使用されていますが、ノイズの多いラベルに悩まされています。現在の関係抽出法は、マルチインスタンス学習を行い、関係分類をより効率的に導くための裏付けとなる言語的および文脈的情報を提供することによって、ノイズを緩和しようとする。最先端の結果を達成する一方で、これらのモデルは、長い尾の関係を無視して、限られた一連の関係を高精度で認識することに偏っていることを観察しました。このギャップに対処するために、私たちは事前に訓練された言語モデル、OpenAI生成事前訓練トランスフォーマー（ GPT ）を利用します（ Radford et al., 2018 ）。 GPTおよび同様のモデルは、意味的および構文的特徴、ならびに顕著な量の「常識的」知識を取り込むことが示されており、これらはより多様な関係のセットを認識するための重要な特徴であると仮定している。 GPTを遠隔監視された設定に拡張し、NYT 10データセット上で微調整することにより、高い信頼性でより大きな一連の異なる関係型を予測することが示されます。当社モデルの手動および自動評価は、NYT 10データセットで0.422の最先端のAUCスコアを達成し、特に高いリコールレベルで優れたパフォーマンスを発揮することを示しています。

Abstract

AllProgressBar Sayensi Nanging ora ngerasai perusahaan-perusahaan-perusahaan ning acara dadi, kita ngulinakake model iki dadi biasane supayano mèh dumadhi aké perusahaan barang dhéwé, nganggep kuwi ora oleh dumadhi iki ning awak dhéwé. Ditambah menehi karo gap iki, kita ngubah model sing gagal banter, Open AI Generative Pri-cared Transformer Perintah GNU lan model sing dibenalke iso nggambar semanti karo sinaksi, lan ngono kuwi kesalahan kelas 'Common-Sense' ngerasakno, awake awake dhéwé ngerasakno sistem sing dikarepaké perkaraan kanggo ngerasakno sistem sing gak nggawe nguasakno. Ngubah nambah kang NYT kuwi nggawe aturan anyar tentang karo, lan akeh iso nggawe dataset NYT 10 ngecap karo sistem sing ditambahak perusahaan dengong model sing bisa ngono nggawe barang langgar tarjamah-manut

Abstract

ექსტალურად დანარჩენებული პრობლექციის ექსტრაქცია ტექსტიდან გამოყენებულია პრობლექტის ფაქტის გამოყენებას, მაგრამ ძალიან ძალიან სიმაღლექტის მიმდინარე შესაბამისი ექსტრექციის მეტები უნდა მრავალური ინსტრექციის სწავლების გამოყენება და მრავალური ინსტრექტიკური ინფორმაციის მხოლოდ უფრო ეფექტიურად გადაწყენება მაშინ, ჩვენ ამ მოდელების შესახებ, რომლებიც უფრო მნიშვნელოვანია, რომლებიც უფრო მნიშვნელოვანი პრობლემების შესახებ, უფრო მნიშვნელოვანი შესახებ, რომლებიც უფრო მნი ამ განსხვავებას წარმოადგენისთვის, ჩვენ გამოყენებთ წარმოადგენული ენის მოდელს, OpenAI-ს წარმოადგენის წინ განსხვავებული ტრანფორმეტრის (GPT) (Radford et al., 2018). GPT და სხვადასხვა მოდელები გამოჩვენებულია, რომ სენმანტიკური და სინტაქტიკური ფუნქციების შესახებ, და ასევე განსაზღვრებული 'common sense' ცოცხლების რაოდენობა, რომელსაც ჩვენ ჰიპოტეზიზებთ უფრო მნიშვნ GPT-ს გადატანა განსხვავებული განსხვავებული განსხვავებული განსხვავებული განსხვავებული ტიპების განსხვავება, და გადატანა NYT10 მონაცემების კონფიგურაციას, ჩვენ გამოჩვენებთ, რომ ის უფრო დიდი განსხვავებული გან ჩვენი მოდელის ხელსახური და ავტომატიური განსაზღვრება ჩვენი მოდელის გამოჩენა, რომ ის მიიღება 0,422 წლის AUC მონაცემები NYT10 მონაცემების კონფიგურაციაში, და განსაზღვრებით უფრო კარგი გავამ

Abstract

Қашықтағы қатынас тарқату қатынасы мәтіннен қатынастық факттерді тарқату үшін көп қолданылады, бірақ дыбыс жарлықтардан қатынасыз. Қолданыстағы қатынас тарқату әдістері көп инстанциялық оқыту арқылы дыбысты көшірмелеу және тілдік және контекстік мәліметтерді қолдау арқылы қатынас классификациясының көмегімен Біз осы үлгілерді жоғары дәрежедегі қатынастың шектелген қатынасын анықтау үшін, ұзындықтағыларды елемей қалмайды. Бұл кеңістікті өзгерту үшін біз алдын- оқылған тіл үлгісін қолданамыз, OpenAI құрылған алдын- оқылған түрлендіруші (GPT) (Radford et al., 2018). GPT және ұқсас үлгілері семантикалық және синтактикалық мүмкіндіктерді түсіндіру үшін көрсетілді, сондай-ақ білім "жалпы сезімдік" мәліметінің білімі болып табылады. Біз гипотезациялық қатынастар GPT бақылау және NYT10 деректер қорларына жақсы баптау үшін, ол үлкен қатынастың түрлерін көрсетеді. Өзіміздің моделіміздің қолмен мен автоматты оқиғалары NYT10 деректер жиынында 0,422 AUC нәтижесін жеткізеді деп көрсетіледі. Ол өзіміздің еске салу деңгейінде жақсы жұмыс істейді.

Abstract

원격 감독 관계 추출은 텍스트에서 관계 사실을 추출하는 데 광범위하게 사용되지만 라벨 소음 문제가 있습니다.기존의 관계 추출 방법은 여러 가지 실례 학습과 지원하는 언어와 상하문 정보를 제공함으로써 관계 분류를 더욱 효과적으로 지도하고 소음을 줄이려고 한다.최신 성과를 얻는 동시에 우리는 이러한 모델들이 고정밀로 유한한 관계를 식별하는 데 치우치고 긴 꼬리 관계를 소홀히 하는 것을 관찰했다.이 격차를 해결하기 위해 OpenAI 생성식 사전 훈련 변환기(GPT)(Radford 등, 2018년)를 사전 훈련한 언어 모델을 사용했다.GPT와 유사한 모델은 의미와 문법 특징, 그리고 대량의'상식'지식을 포착할 수 있다는 것이 증명되었다. 우리는 이러한 지식이 더욱 다양한 관계를 식별하는 중요한 특징이라고 가정한다.GPT를 원격 감시 설정으로 확장하고 NYT10 데이터 집합에서 미세하게 조정함으로써 더 큰 그룹의 높은 신뢰도를 가진 서로 다른 관계 유형을 예측할 수 있음을 알 수 있다.우리 모델에 대한 수동과 자동 평가에 따르면 NYT10 데이터 세트에서 가장 선진적인 AUC 점수인 0.422에 이르렀으며 비교적 높은 리콜 수준에서 특히 뛰어난 활약을 보였다.

Abstract

Nuotoliškai prižiūrimas santykių išgavimas plačiai naudojamas ištraukiant santykinius faktus iš teksto, tačiau kenčia nuo triukšmingų etiketių. Dabartiniai santykių ekstrahavimo metodai bando sumažinti triukšmą mokymosi įvairiomis instancijomis būdu ir teikiant pagalbinę kalbinę ir kontekstinę informaciją, kad santykių klasifikavimas būtų veiksmingesnis. Nors mes pasiekėme naujausius rezultatus, pastebėjome, kad šie modeliai yra pusiausvyriniai siekiant pripažinti ribotą santykių rinkinį labai tiksliai, ignoruojant tuos, kurie yra ilguoju uodega. Siekiant pašalinti šią spragą, mes naudojame iš anksto parengtą kalbos model į, OpenAI generacinį iš anksto parengtą transformatorių (GPT) (Radford ir kt., 2018 m.). Buvo įrodyta, kad GPT ir panašūs modeliai apima semantines ir sintaktines savybes, taip pat nemažai "sveiko proto" žinių, kurias mes hipotezuojame yra svarbias savybes pripažįstant įvairesnius santykius. Išplečiant GPT iki toli prižiūrimo nustatymo ir tiksliai pritaikant jį NYT10 duomenų rinkinyje, mes parodome, kad jame numatomas didesnis atskirų ryšių tipų rinkinys su dideliu pasitikėjimu. Rankinis ir automatizuotas mūsų modelio vertinimas rodo, kad NYT10 duomenų rinkinyje jis pasiekia naujausią AUC skalę 0,422 ir ypač gerai veikia aukštesniais at šaukimo lygiais.

Abstract

Оддалечено надгледуваното извлекување на односите е широко употребено за извлекување на релативните факти од текстот, но страда од бучни етикети. Моменталните методи на извлекување на односи се обидуваат да ја олеснат бучавата со учење на повеќе инстанции и со обезбедување поддршка на јазичките и контекстните информации за поефикасна управа со класификацијата на односите. Додека постигнавме најсовремени резултати, ги набљудувавме овие модели како пристрасни кон препознавањето на ограничени односи со висока прецизност, иако ги игнориравме оние со долга опашка. За да ја решиме оваа празнина, користиме предобучен јазички модел, OpenAI генеративен предобучен трансформер (ГПТ) (Радфорд и други, 2018). The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. Со проширувањето на ГПТ до далечно надгледуваното поставување, и прилагодувањето на податоците на НЈТ10, покажуваме дека предвидува поголем сет различни типови на врски со висока доверба. Рачната и автоматизираната оценка на нашиот модел покажува дека постигнува најсовремена оценка на АКС од 0,422 на податоците на НЈТ10, и оди особено добро на повисоки нивоа на повлекување.

Abstract

വാചകത്തില്‍ നിന്നും ബന്ധുക്കളുടെ കാര്യങ്ങള്‍ പുറത്തെടുക്കാന്‍ സൂക്ഷിക്കപ്പെട്ട ബന്ധപ്പെടുത്തുന്നതിന് വ്യാപ് നിലവിലുള്ള ബന്ധം പുറത്തെടുക്കുന്ന രീതികള്‍ പല ഉദാഹരണങ്ങള്‍ പഠിക്കുന്നതിലൂടെ ശബ്ദം ലളിപ്പിക്കുവാന്‍ ശ്രമിക്കുന്നു. ഭാഷ്ട്രീയ വിവരങ് കലാകൃത്യഫലങ്ങളുടെ അവസ്ഥ എത്തിയപ്പോള്‍, നീണ്ട വാലിലിലെ ബന്ധങ്ങള്‍ തിരിച്ചറിയുന്നതിന് വേണ്ടി നമ്മള്‍ ഈ മോഡലുകള്‍ നിരീക്ഷിച്ചു കൊണ്ടി ഈ വേര്‍തിരിച്ച് വിശദീകരിക്കാന്‍ ഞങ്ങള്‍ ഒരു മുന്‍പരിശീലന ഭാഷ മോഡല്‍ ഉപയോഗിക്കുന്നു, ഓപ്പിഎ ജനററിവ് മുന്‍പ് പരിശീലിക്കപ്പെട്ട ട ട്ര ജിപിടിയും ഇതുപോലുള്ള മോഡലുകളും സെമാന്റിക്കും സിന്റാക്റ്റിക്കും പിടിക്കാന്‍ കാണിച്ചിരിക്കുന്നു. പിന്നെ ഒരു പ്രധാനപ്പെട്ട അറിവുമുണ്ട്. അതിന ജിപിടിയില്‍ നിന്നും അകലെ നിരീക്ഷിക്കപ്പെടുന്ന സജ്ജീകരണത്തിലേക്ക് നീട്ടിക്കൊടുക്കുകയും, NYT10 ഡാറ്റാസസെറ്റില്‍ അതിനെ നന്നായി മുഴുവന്‍ Manual and automated evaluation of our model shows that it achieves a state-of-the-art AUC score of 0.422 on the NYT10 dataset, and performs especially well at higher recall levels.

Abstract

Холбоотой харилцааны хамааралтай хамааралтай хамааралтай зүйлсийг текстээс гаргахад маш их хэрэглэгддэг, гэхдээ чимээгүй тэмдэглэгддэг. Одоогийн харилцааны тархины аргыг олон инстанц суралцаж, хэлний болон орчин үеийн мэдээллийг илүү үр дүнтэй харилцааны хуваалцааны тусламжтайгаар дэмжиж өгдөг. Бид урлагийн үр дүнг хүртэл эдгээр загваруудыг өндөр тодорхойлолтой харилцааны хязгаарлалтыг хүлээн зөвшөөрөх боломжтой байдлыг анзаарсан. Энэ зай тулгарахын тулд бид өмнө сургалтын хэл загварыг ашиглаж, OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). GPT болон төстэй загварууд нь семантик, синтактик болон нийтлэг мэдрэмжтэй мэдлэг, илүү олон харилцааны хэмжээг танихын тулд чухал боломжтой байдаг. GPT-г далайн ажиллаж, NYT10 өгөгдлийн сан дээр сайжруулах боломжтой болгоход бид үүнийг маш олон өөр харилцааны төрлүүдийг өндөр итгэлтэй байдлаар таамаглаж байна. Бидний загварын гар болон автоматжуулсан оюутнууд нь NYT10 өгөгдлийн сангийн суурь дээр 0.422 автоматжуулагдаж, ялангуяа өндөр санах түвшинд ажилладаг.

Abstract

Ekstrasi hubungan yang diawasi jauh digunakan secara luas untuk mengekstrak fakta hubungan dari teks, tetapi menderita dari label bunyi. Kaedah ekstraksi hubungan semasa cuba untuk mengurangkan bunyi dengan pembelajaran berbilang-kejadian dan dengan menyediakan sokongan maklumat bahasa dan kontekstual untuk membimbing kelasukan hubungan dengan lebih efisien. Sementara mencapai keputusan state-of-the-art, kami memperhatikan model ini menjadi biased untuk mengenali set terhad hubungan dengan ketepatan tinggi, sementara mengabaikan mereka di ekor panjang. Untuk mengatasi keterangan ini, kami menggunakan model bahasa yang dilatih-dilatih, Transformer Pra-dilatih Generatif OpenAI (GPT) (Radford et al., 2018). The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. Dengan memperluas GPT kepada tetapan yang diawasi jauh, dan memperbaikinya pada set data NYT10, kami menunjukkan bahawa ia meramalkan set yang lebih besar jenis hubungan yang berbeza dengan kepercayaan tinggi. Evaluasi secara manual dan automatik bagi model kita menunjukkan bahawa ia mencapai skor AUC state-of-the-art 0.422 pada set data NYT10, dan berjalan terutama dengan baik pada tahap pengingatan yang lebih tinggi.

Abstract

Distantly supervised relation extraction is widely used to extract relational facts from text, but suffers from noisy labels. Il-metodi attwali ta’ estrazzjoni tar-relazzjonijiet jippruvaw itaffu l-istorbju permezz ta’ tagħlim f’diversi istanzi u billi jipprovdu appoġġ għal informazzjoni lingwistika u kuntestwali biex tiggwida b’mod aktar effiċjenti l-klassifikazzjoni tar-relazzjonijiet. While achieving state-of-the-art results, we observed these models to be biased towards recognizing a limited set of relations with high precision, while ignoring those in the long tail. Biex nindirizzaw din id-distakk, a ħna nużaw mudell lingwistiku mħarreġ minn qabel, it-Transformer Ġenerattiv OpenAI mħarreġ minn qabel (GPT) (Radford et al., 2018). Il-GPT u mudelli simili ntwerew li jaqbdu karatteristiċi semantiċi u sinrattiċi, u wkoll ammont notevoli ta’ għarfien ta’ ‘sens komuni’, li nippreżentaw bħala karatteristiċi importanti għar-rikonoxximent ta’ sett aktar diversifikat ta’ relazzjonijiet. By extending the GPT to the distantly supervised setting, and fine-tuning it on the NYT10 dataset, we show that it predicts a larger set of distinct relation types with high confidence. Evalwazzjoni manwali u awtomatizzata tal-mudell tagħna turi li tikseb punteġġ tal-AUC l-aktar avvanzat ta’ 0.422 fuq is-sett tad-dejta NYT10, u tagħmel tajjeb b’mod speċjali f’livelli ogħla ta’ ġbir lura.

Abstract

Extreem begeleide relatieontwikkeling wordt veel gebruikt om relationele feiten uit tekst te extraheren, maar heeft last van lawaaierige labels. De huidige methoden voor relatieontwikkeling proberen de ruis te verlichten door multi-instance leren en ondersteunende linguïstische en contextuele informatie te verstrekken om de relatieontwikkeling efficiënter te begeleiden. Terwijl we state-of-the-art resultaten behaalden, zagen we dat deze modellen bevooroordeeld waren om een beperkte set relaties met hoge precisie te herkennen, terwijl we die in de lange staart negeerden. Om deze kloof op te lossen, maken we gebruik van een vooraf getraind taalmodel, de OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). De GPT en soortgelijke modellen zijn aangetoond om semantische en syntactische kenmerken vast te leggen, en ook een opmerkelijke hoeveelheid 'gezond verstand' kennis, waarvan we veronderstellen dat deze belangrijke kenmerken zijn voor het herkennen van een meer gevarieerde set van relaties. Door de GPT uit te breiden naar de op afstand begeleide instelling, en deze af te stemmen op de NYT10 dataset, laten we zien dat het een grotere set van verschillende relatietypen voorspelt met een hoog vertrouwen. Handmatige en geautomatiseerde evaluatie van ons model toont aan dat het een state-of-the-art AUC score van 0.422 op de NYT10 dataset bereikt, en vooral goed presteert bij hogere terugroepniveaus.

Abstract

Avstand oversikt for utpakking av relasjonar blir breidd brukt for å pakka ut relasjonelle faktar frå tekst, men køyrer frå støyetikettar. Gjeldande relasjonsmetodar for ekstraksjon prøv å løysa støyet ved å læra fleire instansar og ved å gjera støtte for språk og kontekstinformasjon til å gjera betre klassifikasjonane meir effektivt. Mens vi har nådd resultatet av kunsten, vi observerte desse modelane som skal gjerast mot å gjenkjenne ein begrenset set relasjonar med høg presisjon, mens vi ignorerer dei i lang hald. For å handtera dette mellomrommet, bruker vi eit føretrained språk-modell, OpenAI-generert føretrained transformer (GPT) (Radford et al., 2018). GPT-modellen og liknande modellen er viste for å henta semantiske og syntaktiske funksjonar, og også ein merkelig mengd av «common-sense»-kunnskap, som vi hypotesiserer er viktige funksjonar for å gjenkjenna ein meir forskjellig sett relasjonar. Ved å utvida GPT til den distantt oversikte innstillinga, og å finne den på datasettet NYT10, viser vi at det foregår eit større sett av ulike relasjonstypar med høg tiltrudd. Manuelt og automatisk evaluering av modellen vår viser at den oppnår ein AUC-score med 0,422 på NYT10-datasettet og utfører spesielt godt på høgare rekningsnivå.

Abstract

Ekstrakcja relacji nadzorowanych na odległość jest szeroko stosowana do wyodrębniania faktów relacyjnych z tekstu, ale cierpi z powodu hałaśliwych etykiet. Obecne metody ekstrakcji relacji starają się złagodzić hałas poprzez uczenie się wielu instancji oraz dostarczanie wspierających informacji językowych i kontekstowych, aby skuteczniej kierować klasyfikacją relacji. Osiągając najnowocześniejsze wyniki, zauważyliśmy, że modele te były stronnicze do rozpoznawania ograniczonego zbioru relacji z wysoką precyzją, ignorując te w długim ogonie. Aby wyeliminować tę lukę, wykorzystujemy wstępnie przeszkolony model językowy OpenAI Generative Pre-trened Transformer (GPT) (Radford et al., 2018). Wykazano, że GPT i podobne modele uwzględniają cechy semantyczne i składniowe, a także znaczącą ilość wiedzy o zdrowym rozsądku, która hipotezujemy, są ważnymi cechami rozpoznawania bardziej zróżnicowanego zestawu relacji. Rozszerzając GPT do ustawień nadzorowanych na odległość i dostosowując go na zbiorze danych NYT10, pokazujemy, że przewiduje większy zestaw odrębnych typów relacji z dużą pewnością. Ręczna i zautomatyzowana ocena naszego modelu pokazuje, że uzyskuje on najnowocześniejszy wynik AUC 0,422 na zbiorze danych NYT10 i działa szczególnie dobrze przy wyższych poziomach odzyskania.

Abstract

A extração de relação supervisionada à distância é amplamente usada para extrair fatos relacionais do texto, mas sofre com rótulos ruidosos. Os métodos atuais de extração de relações tentam aliviar o ruído por meio do aprendizado de várias instâncias e fornecendo informações linguísticas e contextuais de suporte para orientar com mais eficiência a classificação da relação. Ao obter resultados de última geração, observamos que esses modelos são tendenciosos para reconhecer um conjunto limitado de relações com alta precisão, ignorando aqueles na cauda longa. Para resolver essa lacuna, utilizamos um modelo de linguagem pré-treinado, o OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). A GPT e modelos similares mostraram capturar características semânticas e sintáticas, e também uma quantidade notável de conhecimento de “senso comum”, que nós hipotetizamos serem características importantes para reconhecer um conjunto mais diversificado de relações. Ao estender o GPT para a configuração supervisionada à distância e ajustá-lo no conjunto de dados NYT10, mostramos que ele prevê um conjunto maior de tipos de relação distintos com alta confiança. A avaliação manual e automatizada de nosso modelo mostra que ele atinge uma pontuação AUC de última geração de 0,422 no conjunto de dados do NYT10 e tem um desempenho especialmente bom em níveis de recall mais altos.

Abstract

Extragerea relațiilor supravegheate la distanță este utilizată pe scară largă pentru a extrage fapte relaționale din text, dar suferă de etichete zgomotoase. Metodele actuale de extragere a relațiilor încearcă să atenueze zgomotul prin învățarea în mai multe instanțe și prin furnizarea de informații lingvistice și contextuale de sprijin pentru a ghida mai eficient clasificarea relațiilor. În timp ce am obținut rezultate de ultimă generație, am observat că aceste modele sunt părtinitoare spre recunoașterea unui set limitat de relații cu mare precizie, ignorând în același timp cele din coada lungă. Pentru a aborda acest decalaj, folosim un model lingvistic pre-instruit, Transformerul Generativ Pre-instruit OpenAI (GPT) (Radford et al., 2018). S-a demonstrat că GPT și modelele similare captează caracteristici semantice și sintactice, precum și o cantitate notabilă de cunoștințe de bun simț, pe care le presupunem că sunt caracteristici importante pentru recunoașterea unui set mai divers de relații. Prin extinderea GPT la setarea supravegheată la distanță și reglarea fină a setului de date NYT10, arătăm că prezice un set mai mare de tipuri de relații distincte cu încredere ridicată. Evaluarea manuală și automată a modelului nostru arată că acesta atinge un scor ASC de ultimă generație de 0,422 pe setul de date NYT10 și performează în special la niveluri mai ridicate de rechemare.

Abstract

Дистанционно контролируемое извлечение отношений широко используется для извлечения реляционных фактов из текста, но страдает от шумных меток. Текущие методы извлечения отношений пытаются уменьшить шум путем обучения с несколькими экземплярами и предоставления вспомогательной лингвистической и контекстной информации для более эффективного управления классификацией отношений. Достигая самых современных результатов, мы наблюдали, что эти модели ориентированы на признание ограниченного набора отношений с высокой точностью, игнорируя при этом те, которые находятся в длинном хвосте. Для устранения этого пробела мы используем предварительно обученную языковую модель, генеративный предварительно обученный трансформатор OpenAI (GPT) (Radford et al., 2018). Показано, что GPT и аналогичные модели отражают семантические и синтаксические особенности, а также значительное количество «здравомыслящих» знаний, которые, как мы предполагаем, являются важными признаками для распознавания более разнообразного набора отношений. Расширяя GPT до дистанционно контролируемых настроек и точно настраивая его на наборе данных NYT10, мы показываем, что он предсказывает больший набор различных типов отношений с высокой степенью достоверности. Ручная и автоматизированная оценка нашей модели показывает, что она достигает современного показателя AUC 0,422 на наборе данных NYT10 и особенно хорошо работает при более высоких уровнях отзыва.

Abstract

දුරස්ථ විදිහට බලාපොරොත්තු සම්බන්ධයක් පැත්තෙන් සම්බන්ධ විදිහට ප්‍රයෝජනය කරන්න ප්‍රයෝජනය කරනවා, ඒත් මුලින් සම්බන්ධ විධානය පිළිගන්න ප්‍රයෝජනය විධානය විශ්වාස කරන්න හැදුවා විශ්වාස සිදුවීම සහ සම්බන්ධ තොරතුරු සඳ ස්ථානයේ ක්‍රියාත්මක ප්‍රතිචාරයක් ලබාගත්තොත්, අපි මේ මොඩේල්ස් එක ප්‍රතිචාරයක් අඳුරගන්න ප්‍රතිචාරයක් විශේෂ කරනවා අපි මේ විශාල විශ්වාස කරන්න, අපි ප්‍රීක්ෂණිත භාෂාව ප්‍රමාණයක් පාවිච්චි කරනවා, OpenAI ප්‍රමාණය ප්‍රීක්ෂණිත ප්‍රමාණ GPT සහ සමාන මොඩල් පෙන්වන්න පුළුවන් සෙමැන්ටික් සහ සංකේතික අවශ්‍යතාවක් අල්ලගන්න, සහ 'සාමාන්‍ය-අවශ්‍යතාවක්' දැනගන්න ප්‍රමාණයක් GPT විස්තර කරනවා දුරටත් බලන්න සැකසුම් සහ NYT10 දත්ත සූදානයට, අපි පෙන්වන්නේ ඒක විශ්වාස විශ්වාසයෙන් විශේෂ සම්බන්ධ වර්ගයක් අපේ මොඩල් එකේ ස්වයංක්‍රියා සහ ස්වයංක්‍රියාත්මක විශ්ලේෂණය පෙන්වන්නේ ඒක NYT10 දත්ත සූදානයේ 0.422 ප්‍රමාණයක් ලැබෙනවා කියලා, විශ

Abstract

Daljno nadzorovano ekstrakcijo odnosov se pogosto uporablja za ekstrakcijo relacijskih dejstev iz besedila, vendar trpi zaradi hrupnih oznak. Trenutne metode ekstrakcije odnosov poskušajo zmanjšati hrup z več stopnjami učenja in zagotavljanjem podpornih jezikovnih in kontekstualnih informacij za učinkovitejše vodenje klasifikacije odnosov. Med doseganjem najsodobnejših rezultatov smo opazili, da so ti modeli pristranski k prepoznavanju omejenega nabora odnosov z visoko natančnostjo, pri čemer smo ignorirali tiste z dolgim repom. Za odpravo te vrzeli uporabljamo vnaprej usposobljen jezikovni model, OpenAI Generative Pre-trening Transformer (GPT) (Radford et al., 2018). GPT in podobni modeli so pokazali, da zajemajo semantične in sintaktične značilnosti, pa tudi precejšnjo količino "zdravega razuma", za katero domnevamo, da so pomembne značilnosti za prepoznavanje bolj raznolikega nabora relacij. Z razširitvijo GPT na daljno nadzorovano okolje in natančno nastavitvijo na naboru podatkov NYT10 pokažemo, da napoveduje večji nabor različnih tipov relacij z visoko zaupanjem. Ročno in avtomatizirano ocenjevanje našega modela kaže, da doseže vrhunsko vrednost AUC 0,422 na naboru podatkov NYT10 in posebej dobro deluje pri višjih ravneh odpoklica.

Abstract

Iska soo saarista xiriirka meel ka fog waxaa inta badan loo isticmaalaa in ay ka soo bixiso waxyaabaha xiriirka, laakiin waxay ka dhibaataysaa calaamada codka. Xaaladaha soo saarista ee joogtada ah waxay isku dayaan in codka loo fududeeyo barashada tusaale ahaan badan iyo in lagu siiyo macluumaad kaalmeynta luuqadda iyo xilliga joogtada ah si ay u hagaan fasalka xiriirka. Intii aan soo gaadhnay arimaha farshaxanka, waxaynu aragnay tusaalahaas inay is-khiyaaneeyaan si aan u aqoonsanno xiriir aad u sahlan, iyadoo aan iska tagno kuwa dabada dheer ka socda. Si aan ugu hadlno gafkan, waxaynu isticmaalnaa model afka hore oo lagu tababaray, OpenAI Generative Pre-trained Transfer (GPT) (Radford et al., 2018). The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. Sida uu GPT ku fidiyo habka aad u ilaalinaysan, oo aan si fiican ugu sameyno danbiyada NYT10, waxaynu tusnaa inay horumarinaysaa noocyo kala duwan oo aad u badan oo ku kalsoonaan. Qiimeynta sameyntayada si rasmi ah iyo si gaar ah ayuu u sameeyaa heerarka xusuusta ee AUC-ka oo ah xaaladda farshaxanka ee 0.422.

Abstract

Ekstraktimi i marrëdhënieve të mbikqyrura largësisht përdoret gjerësisht për të nxjerrë fakte marrëdhënieve nga teksti, por vuan nga etiketa zhurmuese. Metodat aktuale të nxjerrjes së marrëdhënieve përpiqen të lehtësojnë zhurmën duke mësuar shumë raste dhe duke ofruar mbështetjen e informacionit gjuhësor dhe kontekstual për të udhëzuar më efektivisht klasifikimin e marrëdhënieve. Ndërsa arritëm rezultate më të larta, vëzhguam se këto modele ishin të paragjykuar drejt njohjes së një sëre të kufizuar marrëdhënieve me preçizion të lartë, duke injoruar ato në bisht të gjatë. Për të trajtuar këtë boshllëk, ne përdorim një model gjuhësh të paratrajnuar, OpenAI Generative Pre-trained Transformer (GPT) (Radford et al., 2018). The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. Duke zgjeruar GPT-in në vendosjen e mbikqyrur nga larg, dhe duke e rregulluar atë në settin e të dhënave NYT10, ne tregojmë se parashikon një set më të madh të llojeve të marrëdhënieve të veçanta me besim të lartë. Manual and automated evaluation of our model shows that it achieves a state-of-the-art AUC score of 0.422 on the NYT10 dataset, and performs especially well at higher recall levels.

Abstract

Daljinski nadzorni ekstrakcija odnosa se široko koristi za izvlačenje odnosanih činjenica iz teksta, ali pati od buknih etiketa. Trenutne metode izvlačenja odnosa pokušavaju smanjiti buku višestrukim učenjima i pružajući podršku lingvističkim i kontekstskim informacijama da učinkovitije vode klasifikaciju odnosa. Dok smo postigli rezultate umetnosti, posmatrali smo te modele koje su predrasude prema priznanju ograničenog set a odnosa sa visokom preciznošću, dok ignorišemo one na dugom repu. Za rješavanje ovog praznika, koristimo predobučeni jezički model, predobučeni transformator OpenAI generacije (GPT) (Radford et al., 2018). Pokazani su GPT i slični modeli da uhvate semantične i sintaktične karakteristike, kao i poznatu količinu znanja "zajedničkog smisla", koje smo hipotezirali su važne karakteristike za prepoznavanje raznolikosti odnosa. Proširenjem GPT-a do daleko nadziranog postavka i finaliziranjem podataka NYT10 pokazujemo da predviđa veći set različitih vrsta odnosa sa visokom poverenjem. Ručna i automatska procjena našeg model a pokazuje da postigne rezultat AUC-a od 0,422 na NYT10 datasetu, i održava posebno dobro na višem nivou sjećanja.

Abstract

Fjärrstyrd relationsextraktion används ofta för att extrahera relationsfat från text, men lider av bullriga etiketter. Nuvarande relationsutdragningsmetoder försöker lindra bullret genom lärande i flera instanser och genom att tillhandahålla stöd för språklig och kontextuell information för att mer effektivt styra relationsklassificeringen. Samtidigt som vi uppnådde toppmoderna resultat observerade vi att dessa modeller var partiska mot att erkänna en begränsad uppsättning relationer med hög precision, samtidigt som vi ignorerade dem i den långa svansen. För att ta itu med detta gap använder vi oss av en färdigutbildad språkmodell, OpenAI Generative Pre-Trained Transformer (GPT) (Radford et al., 2018). GPT och liknande modeller har visat sig fånga semantiska och syntaktiska egenskaper, och även en anmärkningsvärd mängd "sunt förnuft" kunskap, som vi antar är viktiga funktioner för att känna igen en mer varierad uppsättning relationer. Genom att utöka GPT till den fjärrövervakade inställningen, och finjustera den på NYT10 datauppsättningen, visar vi att den förutspår en större uppsättning distinkta relationstyper med stort förtroende. Manuell och automatiserad utvärdering av vår modell visar att den uppnår en state-of-the-art AUC score på 0,422 på NYT10 datauppsättningen, och presterar särskilt bra vid högre återkallelsenivåer.

Abstract

Kutengenezwa kwa mahusiano yasiyo ya moja kwa moja hutumiwa sana kuondoa ukweli wa mahusiano kutoka kwenye maandishi, lakini yanaumia kutoka kwenye alama za sauti. mbinu za utoaji wa uhusiano wa sasa zinajaribu kupunguza sauti kwa namna nyingi za kujifunza na kwa kutoa taarifa za lugha na za wakati ili kuongoza usambazaji wa uhusiano. Wakati tulipokuwa tunapata matokeo ya sanaa, tuliangalia mifano hii ya upinzani ili kutambua mfululizo mdogo wa mahusiano yenye uhakika mkubwa, wakati tunawasahau wale walio kwenye mfumo wa ndege. To address this gap, we use a model of pre-trained language, the OpenAI Generative Transfer Pre-trained (GPT) (Radford et al., 2018). The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. Kwa kuongeza GPT kwenye mazingira yanayofuatiliwa mbali, na kuitunza vizuri kwenye seti ya data ya NYT10, tunaonyesha kwamba inatabiri aina kubwa ya mahusiano yenye imani kubwa. Tathmini za mifano yetu kwa manufaa na kwa kujitegemea inaonyesha kwamba inafanikiwa kiwango cha hali ya sanaa cha AUC cha 0.422 kwenye seti ya data ya NYT10, na inafanya vizuri zaidi katika ngazi za kukumbuka.

Abstract

தொடர்புகளை உரையிலிருந்து வெளியேற்ற பயன்படுத்தப்படுகிறது, ஆனால் சப்தமான சிட்டைகளிலிருந்து பாதுகாப்புக் கொண்டி தற்போதைய தொடர்பு பிரிப்பு முறைமைகள் பல நிகழ்வுகள் கற்றுக்கொண்டு ஒலியை எளிதாக்க முயற்சிக்கிறது மற்றும் மொழிமாற்று மற்றும் தற்போதைய தகவல் கலை முடிவுகளை அடையும் போது, நாங்கள் இந்த மாதிரிகளை பார்த்தோம் பார்த்தோம் அதிக துல்லியமான தொடர்புகளை உணர்ந்து கொள்ளும் போது, நீண்ட வ இந்த இடைவெளியை முன்பயிற்சிக்கப்பட்ட மொழி மாதிரியை பயன்படுத்துகிறோம், OpenAI பொதுவான முன் பயிற்சி மாற்றியமை (GPT) (ரேட்போர்ட் et al., The GPT and similar models have been shown to capture semantic and syntactic features, and also a notable amount of 'common-sense' knowledge, which we hypothesize are important features for recognizing a more diverse set of relations. GPT ஐ தொலைதூரத்தில் கண்காணிக்கப்பட்ட அமைப்புக்கு நீட்டி மற்றும் NYT10 தரவுத்தளத்தில் நன்றாக ஒழுங்குதல், அது அதிகமான நம்பிக்கையுடன் பெரிய வேற எங்கள் மாதிரியின் கைமுறையாக மற்றும் தானாகவே மதிப்பீடு காண்பிக்கிறது அது NYT10 தரவுத்தளத்தில் 0. 422 நிலை AUC மதிப்பை பெறுகிறது மற்றும் அதிக நி

Abstract

G철rn체힊de g철zle첵채n bagla첵y힊y s철흫lemek 체챌in metin eden bagla첵y힊y 챌ekmek 체챌in ullanyl첵ar, 첵철ne g체rr체흫 etiketlerden bolar. H채zirki bagla첵y힊y a챌ma y철ntemleri birn채챌e instal 철wrenmesi bilen g체rr체흫i azaltmak we lingwistiki we contextual maglumatlary klasifikasy첵asy bilen has gowy g철rkezmek 체챌in synany흫. 힇u nusgalary ba힊armak 체챌in, bu nusgalary 첵okary derejesi bilen 첵okary derejesi bilen 첵akyn derejesi tanamak 체챌in tertible첵채rdik we uzak kuyrugda olanlary 첵ok etm채ge g철z 첵etirdik. Bu terjimeleri 챌철zmek 체챌in 철흫체nden e휓lenen dil nusgyny ullan첵arys, OpenAI d철redik 철흫체nden e휓lenen terjimeleri (GPT) (Radford et al., 2018). GPT we 첵aly nusgalar semantik we sintaktik 철zellikleri ele ge챌irmek 체챌in g철rkezildi we bu nusgalar "orta-duygy" bilimi bilen m철h체m bir 힊ekilde d체힊체n첵채ris. Daha farkl캇 bir bagla첵y힊 d체z체mlerini tanamak 체챌in m철h체m karakterlerdir. GPT'i uzak y철n체nde g철zetlen첵채n d체z체mlere we muny NYT10 veri setinde d체zeldirmek 체챌in, biz muny흫 첵okary g체첵챌li d체z체mlerni흫 uly d체z체mlerini tahmin edip bil첵채ris. Bizi흫 nusgamyzy흫 elimizde we otomatik de흫lenmesi NYT10 veri setinde 0.422 topary흫 durumyny 첵etip bil첵채ndigini g철rkez첵채r we olary흫 i흫 gowy hatlary흫 d체zedilerini gowy edip bil첵채ndigini g철rkez첵채r.

Abstract

دور نظارت کی تعلق اٹھانے کے لئے بہت زیادہ استعمال کی جاتی ہے کہ متن سے رابطہ والی حقیقت اٹھانے کے لئے، لیکن صدا لابلوں سے دردناک ہے. موجود ارتباط اٹھانے کے طریقے میں بہت سی مثالیں کی تعلیم کے ذریعہ صدا کو کمزور کرنے کی کوشش کریں اور زبان شناسی اور کنٹکسٹیل معلومات کی مدد کرنے کے ذریعہ بہت اثرات کے ساتھ رابطہ کریں۔ اور ہم نے ان نمونوں کو دیکھا تھا کہ ایک مقدار مقدار تعداد کے معاملہ کی تصدیق کرنے کے لئے ایک مقدار تعداد کی تعداد کو پہچان سکتے تھے، اور دور کی پیٹ میں ان لوگوں کو نادانی کرتے تھے۔ اس جگہ کے لئے ہم ایک پیش آموزش کی زبان موڈل کو استعمال کرتے ہیں، OpenAI پیدا کرنے والی پیش آموزش کی ترانفسرر (GPT) (رادفورد et ل., 2018). جی پی پی ٹی اور جیسا موڈل دکھائے گئے ہیں کہ سیمانٹی اور سینٹکتیک موجودات کو پکڑ سکیں، اور ایک معلوم معلوم معلوم معلوم معلوم ہے، جسے ہم سمجھتے ہیں کہ بہت مختلف نسبتوں کی تصدیق کرنے کے لئے اہم موجودات ہیں. جی پی پی ٹی کو دور سمت پر پھیلانے کے ذریعہ اور اسے NYT10 ڈیٹ سٹ پر خوب تنظیم کرنے کے ذریعہ، ہم نشان دیتے ہیں کہ یہ ایک بڑی مختلف نسبت کی مختلف طریقوں کی پیش بینی کرتا ہے جو بالا یقین رکھتے ہیں. ہمارے موڈل کے مطابق مطابق اور آٹوٹی ارزیابی کا مطابق دکھاتا ہے کہ یہ NYT10 ڈیٹسٹ پر 0.422 کی AUC اسکور پہنچتا ہے اور مخصوصاً اچھی یادآوری سطح پر اچھی طرح عمل کرتا ہے.

Abstract

@ info: whatsthis Name Shaxsiy natijalar natijalarini bajarishda biz bu modellarni o'xshash ko'rsatganimizni ko'rsatdik, va uzun o'tgacha bo'lgan aloqalarni aniqlashga juda cheksiz munosabatlarni aniqlashga qarang. Bu gapni boshqarish uchun biz o'rgangan tildan oldin modeldan foydalanamiz, OpenAI Generative Pre-trained Transfer (GPT) (Radford et al., 2018). @ info Name Modemizning qoʻlbola va avtomatik qiymatlarimizni koʻrsatish mumkin, u NYT10 maʼlumotlar sahifasi 0.422 darajadagi AUC sohasini ishga tushirish mumkin, va maxsus qayta qolish darajada bajaradi.

Abstract

Cách nhau giám sát các mối quan hệ được sử dụng rộng rãi để khai thác các sự kiện liên quan từ văn bản, nhưng chịu đựng các nhãn ồn ào. Phương pháp hấp thụ các mối quan hệ hiện tại cố giảm tiếng ồn bằng việc học nhiều trường quay và cung cấp thông tin ngữ pháp và ngữ pháp để hướng dẫn hiệu quả phân loại quan hệ. Khi đạt được kết quả hiện đại, chúng tôi thấy những mô hình này có khuynh hướng nhận ra một chuỗi giới hạn quan hệ với độ chính xác cao, trong khi lờ đi những mô hình dài. Để giải quyết vấn đề này, chúng tôi sử dụng một mô hình ngôn ngữ được huấn luyện trước, bộ chế biến hình Pre-educated OpenAI (GPT) (Radford et al., 208). Các mẫu GPT và các mô hình tương tự được cho thấy thu thập các tính năng theo ngữ pháp và cú pháp, và cũng một số kiến thức đáng chú ý, mà chúng tôi cho rằng kích thước là các yếu tố quan trọng để nhận ra một hệ quan hệ khác nhau hơn. Bằng cách mở rộng GPT tới thiết lập được giám sát xa, và sửa chữa nó trên bộ dữ liệu New York, chúng tôi cho thấy nó dự đoán một bộ tương quan lớn hơn với độ tự tin cao. Nghiên cứu và tự động đánh giá mô hình của chúng ta cho thấy nó đạt được điểm AUC tuyệt vời của 0.42 trên bộ dữ liệu New York, và hoạt động tốt nhất ở mức độ phục hồi cao.

Abstract

远监博取于文本,而存乎嘈杂。今之取法,试以多实学、供言语、上下文信息以解噪声。先进而后,观其偏高精度,忽乎长尾。以此相去,因一预训练之言,OpenAI生预练变形金刚(GPT)(Radford等,2018)。 GPT类已得语义句法,多识,吾徒设知更多样化之要。因广 GPT 远置,微调 NYT10 数集上,以高置信度测之。凡我手动与自料,其在NYT10数集上至于0.422之先进AUC分,而尤善于召率。

Anthology ID:: P19-1134
Volume:: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics
Month:: July
Year:: 2019
Address:: Florence, Italy
Venue:: ACL
SIG:
Publisher:: Association for Computational Linguistics
Note:
Pages:: 1388–1398
Language:
URL:: https://aclanthology.org/P19-1134
DOI:: 10.18653/v1/P19-1134
Bibkey:
Cite (ACL):: Christoph Alt, Marc Hübner, and Leonhard Hennig. 2019. Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1388–1398, Florence, Italy. Association for Computational Linguistics.
Cite (Informal):: Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction (Alt et al., ACL 2019)
Copy Citation:
PDF:: https://aclanthology.org/P19-1134.pdf
Code: DFKI-NLP/DISTRE
Terminologies:

PDF Cite Search Code Translate