Critical Thinking for Language Models Name ቋንቋ التفكير الناقد لنماذج اللغة Dil ModellÉ™ri üçün Kritik DüşünĂĽĹź Критично мислене за езикови модели Critical Thinking for Language Models སྐད་རིགས་མ་དབྱིབས་ཆེན་བློ་གཏོང་བ Kritično razmišljanje o jezičkim modelima Pensar críticament en els models de llenguatge Kritické myšlení pro jazykové modely Kritisk tænkning for sprogmodeller Kritisches Denken für Sprachmodelle Κριτική σκέψη για γλωσσικά μοντέλα Pensamiento crítico para modelos lingüísticos Keelemudelite kriitiline mõtlemine Comment Kielimallien kriittinen ajattelu Pensée critique pour les modèles linguistiques Smaointeoireacht Chriticiúil le haghaidh Múnlaí Teanga KCharselect unicode block name מחשבה קריטית למודלים לשפה भाषा मॉडल के लिए महत्वपूर्ण सोच Kritično razmišljanje o jezičkim modelima Kritikus gondolkodás nyelvi modellekhez Լեզվային մոդելների կարևոր մտածելը Critical Thinking for Language Models Pensiero critico per i modelli linguistici 言語モデルに対する批判的思考 structural navigation ენის მოდელებისთვის კრიტიკური ფიქრობაName Тіл үлгілерінің критикалық ойлау 언어 모형의 비판적 사유 Kalbos modelių kritinis mąstymas Критично размислување за јазички модели Critical Thinking for Language Models Холын загварын чухал бодол Pemikiran Kritik untuk Model Bahasa Ħsib Kritiku għal Mudelli Lingwistiċi Kritisch denken voor taalmodellen Kritisk tenking for språk- modellerName Krytyczne myślenie dla modeli językowych Pensamento crítico para modelos de linguagem Gândire critică pentru modelele lingvistice Критическое мышление для языковых моделей භාෂ මොඩේල්ස් වෙනුවෙන් විශේෂ හිතන්න Kritično razmišljanje za jezikovne modele Critical Thinking for Language Models Mendimi kritik për modelet gjuhësore Kritièno razmišljanje o jezičkim modelima Kritiskt tänkande för språkmodeller Tafakari za Kihalisi kwa Modeli za Lugha மொழி மாதிரிகளுக்கான சிந்தனை Çaltylyk nusgasy زبان موڈل کے لئے ضروری سوچ Til modellari uchun kritikk fikirayName Suy nghĩ khắt khe cho mô- đun ngôn ngữ 言语模批判性思维
Abstract
This paper takes a first step towards a critical thinking curriculum for neural auto-regressive language models. We introduce a synthetic corpus of deductively valid arguments, and generate artificial argumentative texts to train CRiPT : a critical thinking intermediarily pre-trained transformer based on GPT-2. Significant transfer learning effects can be observed : Trained on three simple core schemes, CRiPT accurately completes conclusions of different, and more complex types of arguments, too. CRiPT generalizes the core argument schemes in a correct way. Moreover, we obtain consistent and promising results for NLU benchmarks. In particular, CRiPT’s zero-shot accuracy on the GLUE diagnostics exceeds GPT-2’s performance by 15 percentage points. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. The synthetic argumentative texts presented in this paper are a promising starting point for building such a critical thinking curriculum for language models.Abstract
Hierdie papier neem 'n eerste stap na 'n kritiese gedink kurrikulum vir neurale outomatiese regressiewe taal modele. Ons introduseer 'n sintetiese korpus van deduktief geldige argumente en genereer kunstensiese argumentatiewe teks om CRiPT te trein: ân kritiese dink tussen middel voor-onderwerp transformeerder gebaseer op GPT-2. Belangrik oordrag leer effekte kan aanhou word: Geoefen op drie eenvoudige kern skeme, CRiPT voltooi presies die conclusies van verskillende en meer komplekse tipes argumente ook. Krypt generaliseer die korrekte argument skeme op 'n korrekte manier. Ons kry ook konsistente en beloftende resultate vir NLU-benchmarke. In spesifieke is CRiPT se nul-skoot presies op die GLUE diagnostike oorskry GPT-2 se prestasie met 15 persentasie punte. Die gevinde beveel dat middelste voor-onderwerp op teks wat basiese redekeningskapasiteite (soos tipies bedek in kritiese gedink teksbokke) kan help taal modele om 'n breë reeks van redekeningskapasiteite te kry. Die sintetiese argumentatiewe teks wat in hierdie papier voorgestel is is 'n beloftende begin punt vir die bou van so 'n "kritiese dinkingskouerkulum vir taal modele".Abstract
ይህ ገጽ የናውራዊ የራሱ-አካባቢ ቋንቋ ምሳሌዎች ለመጀመሪያ ደረጃን ወደ አካባቢ ትምህርት ትምህርት ይወስዳል፡፡ የሲንቲካዊ አካውንት እናሳውቃለን፣ CRiPT ለማስተማር የፍጥረት አዋራጅ ጽሑፎችን እናደርጋለን፡፡ በሦስት ቀላል የውይይት ፕሮግራም ላይ የተጠቃሚ ስርዓት፣ CRiPT የተለየውን ውጤቶች በትክክል ይፈጽማል፣ በተጨማሪም ዓይነት አካባቢዎች ደግሞ ይጨምርባቸዋል፡፡ . Moreover, we obtain consistent and promising results for NLU benchmarks. በተለየ ጊዜ የCRiPT በGLUE diagnostics የGPT-2 ውጤት በ15 በመቶው ነጥብ የበለጠ ነው። The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. በዚህ ገጽ ውስጥ የተደረገው የሲንተቲካዊ አካባቢ ጽሑፎች ለቋንቋ ምሳሌዎች እንደዚህ የሚያስቸገር የስህተት ትምህርት ትምህርት የመጀመሪያ ነጥብ ነው፡፡Abstract
تتخذ هذه الورقة خطوة أولى نحو منهج التفكير النقدي لنماذج اللغة العصبية الانحدارية. نقدم مجموعة تركيبية من الحجج الصحيحة استنتاجيًا ، وننشئ نصوصًا جدلية مصطنعة لتدريب CRiPT: محولات التفكير النقدي المدربة مسبقًا على أساس GPT-2. يمكن ملاحظة تأثيرات تعلم النقل الهامة: يتم تدريب CRiPT على ثلاثة مخططات أساسية بسيطة ، وتكمل بدقة استنتاجات أنواع مختلفة وأكثر تعقيدًا من الحجج أيضًا. يعمم CRiPT مخططات الحجج الأساسية بطريقة صحيحة. علاوة على ذلك ، نحصل على نتائج متسقة وواعدة لمعايير NLU. على وجه الخصوص ، فإن دقة CRiPT الصفرية في تشخيصات GLUE تتجاوز أداء GPT-2 بمقدار 15 نقطة مئوية. تشير النتائج إلى أن التدريب المسبق الوسيط على النصوص التي تجسد قدرات التفكير الأساسية (مثل التي يتم تناولها عادةً في كتب التفكير النقدي) قد تساعد النماذج اللغوية في اكتساب مجموعة واسعة من مهارات التفكير. تعتبر النصوص الجدلية التركيبية المقدمة في هذه الورقة نقطة انطلاق واعدة لبناء مثل "منهج التفكير النقدي لنماذج اللغة".Abstract
Bu kağıt nöral auto-regressiv dil modellərinin kritik fikirləşmək programına ilk adım alır. Və CRiPT təhsil etmək üçün sintetik bir korpus yaratdıq. GPT-2 tabanlı bir aradan ötrü ötrü təhsil edilmiş transformatör olaraq kritik fikirləşir. Müəyyən bir transfer öyrənmə effektlərini gözləyir: üç basit ilk schemlara təhsil edildi, CRiPT də müxtəlif fərqli və daha kompleks dəlillərin sonuçlarını tamamlayır. CRiPT əsas argumentlərin taslaqlarını doğru yolla generalizə edir. Daha sonra, NLU benchmarkləri üçün müəyyən və vədə verən sonuçlar alırıq. Özellikle, GLUE dijagnostiklərində CRiPT'nin s ıfır-fırlatma doğruluğu GPT-2'nin performansını 15 procent noktalarına üstün edir. Çətirlər təcrübə edirlər ki, temel razılıq yetkinliklərini örnəyən mətnlərdən ötrü ötrü ötrü təcrübə etmək üçün dil modellərinin çoxlu dəyişiklik yetkinliklərini almağa kömək edə bilər. Bu kağızda göstərilən sintetik argumentativ mətnlər dil modellərinin kritik fikirləşməsi üçün bir başlangıç noktasıdır.Abstract
Тази статия прави първата стъпка към учебна програма за критично мислене за невронни авторегресивни езикови модели. Въвеждаме синтетичен корпус от дедуктивно валидни аргументи и генерираме изкуствени аргументативни текстове за обучение на критично мислене посредствено предварително обучен трансформатор, базиран на ГПТ-2. Могат да се наблюдават значителни ефекти на трансферното обучение: Обучени по три прости основни схеми, точно завършва заключенията на различни и по-сложни видове аргументи също. CRiPT обобщава основните аргументи схеми по правилен начин. Освен това получаваме последователни и обещаващи резултати за референтните показатели на НЛУ. По-специално, нулевата точност на CRiPT върху диагностиката надвишава производителността на GPT-2 с 15 процентни пункта. Резултатите сочат, че посредническото предварително обучение по текстове, които образуват основни способности за разсъждаване (като обикновено обхванати в учебници за критично мислене), може да помогне на езиковите модели да придобият широк спектър от умения за разсъждаване. Синтетичните аргументативни текстове, представени в тази статия, са обещаваща отправна точка за изграждане на такава "учебна програма за критично мислене за езикови модели".Abstract
এই পত্রিকাটি নিউরেল স্বয়ংক্রিয় ভাষার মডেলের জন্য একটি গুরুত্বপূর্ণ চিন্তার কার্কুলের দিকে প্রথম পদক্ We introduce a synthetic corpus of deductively valid arguments, and generate artificial argumentative texts to train CRiPT: a critical thinking intermediarily pre-trained transformer based on GPT-2. সংখ্যাত পরিবর্তন শিক্ষা প্রভাব দেখা যাবে: তিনটি সাধারণ মূল পরিকল্পনায় প্রশিক্ষণ করা যাবে, CRiPT ঠিক ভিন্ন ভিন্ন সমাপ্তি সম্পূর্ণ করে এবং আরো কঠ CRiPT সঠিক পথে মূল যুক্তি বিন্যাস সংক্রান্ত বিন্যাস সংক্রান্ত করে। এছাড়াও, আমরা এনএলইউ বেনমার্কের জন্য সাধারণ এবং প্রতিশ্রুতিশীল ফলাফল পেয়েছি। বিশেষ করে, GLUE ডিজিনিস্টিকের উপর সিরিপিটির শূন্য-গুলি সঠিকভাবে জিপিটি-২ এর প্রাপ্তি ১৫ শতাংশ বিন্দুর মাধ্যমে। ফলাফল পরামর্শ দিয়েছে যে টেক্সটে মাধ্যমিক প্রশিক্ষণের পূর্ব প্রশিক্ষণ যেখানে মৌলিক কারণের ক্ষমতা (যেমন সাধারণত গুরুত্বপূর্ণ ভাষার মডেলের মাধ্যমে গুর এই পত্রিকায় প্রকাশিত সিন্টেটিক যুক্তিগত টেক্সট হচ্ছে ভাষার মডেলের জন্য একটি 'গুরুত্বপূর্ণ চিন্তা কার্কুলাম' নির্Abstract
ཤོག་བྱང་འདིས་གསར་ལམ་ལུགས་པའི་སྐྱེས་པའི་ལྟ་བུ We introduce a synthetic corpus of deductively valid arguments, and generate artificial argumentative texts to train CRiPT: a critical thinking intermediarily pre-trained transformer based on GPT-2. Significant transfer learning effects can be observed: Trained on three simple core schemes, CRiPT accurately completes conclusions of different, and more complex types of arguments, too. CRiPT generalizes the core argument schemes in a correct way. འོན་ཀྱང་། ང་ཚོར་ནུས་ཡོད་པའི་དཔྱད་རིས་བཀོད་ཆེན་དང་མཐུན་རྐྱེན་གྱི་འབྲས་བ་རེད། In particular, CRiPT's zero-shot accuracy on the GLUE diagnostics exceeds GPT-2's performance by 15 percentage points. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. ཤོག་བྱང་འདིའི་ནང་དུ་སྔོན་སྒྲིག་ཟིན་བྲིས་བསམ་བློ་གཏོང་གི་གནད་དོན་གྱི་འགོ་བཙུགས་གནད་ཅིག་གསར་གཏོང་མཁན་རེད།Abstract
Ovaj papir preduzima prvi korak ka kritičnom razmišljanju programu za neuralne automatske regresivne jezičke modele. Predstavljamo sintetički korpus deduktivno validnih argumentacija i stvaramo umjetne argumentativne tekste za obuku CRiPT-a: kritično razmišljanje međuvremeno predobučenog transformatora na temelju GPT-2. Može se posmatrati značajni učinci prijenosa: obučeni na tri jednostavne osnovne šeme, CRiPT precizno završava zaključke različitih i složenijih vrsta argumentacija. CRiPT generalizuje osnovne argumentacije na pravi način. Osim toga, dobijamo konsekventne i obećavajuće rezultate za NLU kriterije. Posebno, preciznost CRiPT-a nula pucnjava na dijagnostiku GLUE-a prelazi performance GPT-2 za 15 procentnih točka. Nalazi sugeriraju da bi prosječni predobuka na tekstima koji primjenjuju osnovne razumne sposobnosti (kao što je obično pokriveno kritičnim razmišljanjima udžbenicima) mogli pomoći jezičkim modelima da bi dobili širok niz razumnih vještina. Sintetički argumentativni teksti predstavljeni u ovom papiru su obećavajuća početna tačka za izgradnju takvog "kritičnog program razmišljanja za jezičke modele".Abstract
Aquest article fa un primer pas cap a un currículum de pensament crític per a models neurals de llenguatges autoregressius. Introduïm un cos sintètic d'arguments deductiblement válids, i generam textos argumentatius artificials per entrenar CRiPT: un transformador de pensament crític entrenat intermediàriament basat en GPT-2. Es poden observar efectes significatius d'aprenentatge de transfer ència: Format en tres esquemes fonamentals senzills, CRiPT completa amb precisió conclusions de diferents tipus d'arguments i també més complexes. CRiPT generalitza els esquemes d'arguments fonamentals d'una manera correct a. A més, obtenim resultats consistents i prometedors per als punts de referència de la NLU. En particular, la precisió zero del CRiPT en el diagnòstic GLUE supera el rendiment del GPT-2 en 15 punts percentals. Els descobriments suggereixen que la pré-capacitació intermediària en textos que exemplifiquen habilitats bàsiques de raonament (com normalment cobertas en llibres de classe de pensament crític) pot ajudar els models lingüístics a adquirir una gran varietat d'habilitats de raonament. Els textos sintètics argumentatius presentats en aquest paper són un punt de partida prometedor per a construir un programa de pensament crític per als models de llenguatge.Abstract
Tento článek dělá první krok směrem k kritickému myšlení učebního plánu pro neuronové auto-regresivní jazykové modely. Představujeme syntetický korpus deduktivně platných argumentů a generujeme umělé argumentační texty pro trénink CRiPT: kritického myšlení intermediálně předtrénovaného transformátoru založeného na GPT-2. Je možné pozorovat významné efekty transferového učení: Trénovaný na třech jednoduchých základních schématech CRiPT přesně doplňuje závěry různých a složitějších typů argumentů. CRiPT zobecňuje schémata základních argumentů správným způsobem. Navíc dosahujeme konzistentních a slibných výsledků pro NLU benchmarky. Zejména nulová přesnost CRiPT v diagnostice GLUE přesahuje výkon GPT-2 o patnáct procentních bodů. Zjištění naznačují, že zprostředkovatelský předškolení na texty, které ukazují základní schopnosti uvažování (jako jsou typicky zahrnuty v učebnicích kritického myšlení), může pomoci jazykovým modelům získat širokou škálu uvažovacích dovedností. Syntetické argumentativní texty prezentované v tomto článku jsou slibným výchozím bodem pro budování takového "učebního plánu kritického myšlení pro jazykové modely".Abstract
Denne artikel tager et første skridt mod en kritisk tænkning pensum for neurale auto-regressive sprogmodeller. Vi introducerer et syntetisk korpus af deduktivt gyldige argumenter, og genererer kunstige argumentationstekster til at træne CRiPT: en kritisk tænkning formidlende prætrænet transformer baseret på GPT-2. Der kan observeres betydelige overførselseffekter: CRiPT er uddannet i tre enkle kerneskemaer og fuldfører nøjagtigt konklusioner af forskellige og mere komplekse typer argumenter også. CRiPT generaliserer kerneargumentsystemerne på en korrekt måde. Desuden opnår vi konsekvente og lovende resultater for NLU benchmarks. Især overstiger CRiPT's nulskudsnøjagtighed på GLUE-diagnostikken GPT-2's ydeevne med 15 procentpoint. Resultaterne tyder på, at mellemliggende foruddannelse i tekster, der eksemplificerer grundlæggende ræsonnement evner (såsom typisk dækket i kritisk tænkning lærebøger), kan hjælpe sprogmodeller til at erhverve en bred vifte af ræsonnement færdigheder. De syntetiske argumentationstekster, der præsenteres i denne artikel, er et lovende udgangspunkt for opbygningen af en sådan "kritisk tænkning pensum for sprogmodeller".Abstract
Diese Arbeit macht einen ersten Schritt in Richtung eines Curriculums für kritisches Denken für neuronale auto-regressive Sprachmodelle. Wir führen einen synthetischen Korpus deduktiv valider Argumente ein und generieren künstliche argumentative Texte, um CRiPT zu trainieren: einen kritisch denkenden intermediär vorgetrainierten Transformator basierend auf GPT-2. Signifikante Transferlerneffekte sind zu beobachten: Auf drei einfachen Kernschemata trainiert, vervollständigt CRiPT präzise Schlussfolgerungen verschiedener und komplexerer Argumenttypen. CRiPT verallgemeinert die Kernargumentschemata korrekt. Darüber hinaus erhalten wir konsistente und vielversprechende Ergebnisse für NLU Benchmarks. Insbesondere die Nullschussgenauigkeit von CRiPT bei der GLUE-Diagnostik übertrifft die Leistung von GPT-2 um 15 Prozentpunkte. Die Ergebnisse legen nahe, dass ein intermediäres Vortraining zu Texten, die grundlegende Denkfähigkeiten veranschaulichen (wie sie typischerweise in Lehrbüchern für kritisches Denken behandelt werden), Sprachmodellen helfen könnte, ein breites Spektrum an Denkfähigkeiten zu erwerben. Die in diesem Beitrag vorgestellten synthetischen argumentativen Texte sind ein vielversprechender Ausgangspunkt für den Aufbau eines solchen "Critical Thinking Curriculums für Sprachmodelle".Abstract
Αυτή η εργασία κάνει ένα πρώτο βήμα προς ένα πρόγραμμα σπουδών κριτικής σκέψης για νευρωνικά αυτο-αναδρομικά γλωσσικά μοντέλα. Εισάγουμε ένα συνθετικό σώμα συμπερασματικά έγκυρων επιχειρημάτων και δημιουργούμε τεχνητά επιχειρηματολογικά κείμενα για να εκπαιδεύσουμε έναν ενδιάμεσα εκπαιδευμένο μετασχηματιστή κριτικής σκέψης βασισμένο στο GPT-2. Μπορούν να παρατηρηθούν σημαντικά αποτελέσματα μάθησης μεταφοράς: Εκπαιδευμένος σε τρία απλά βασικά συστήματα, ολοκληρώνει με ακρίβεια συμπεράσματα διαφορετικών και πιο σύνθετων τύπων επιχειρημάτων, επίσης. Το CRiPT γενικεύει τα βασικά σχήματα ορίων με σωστό τρόπο. Επιπλέον, επιτυγχάνουμε συνεπή και ελπιδοφόρα αποτελέσματα για τα κριτήρια αναφοράς. Ειδικότερα, η ακρίβεια μηδενικής βολής του CRiPT στη διάγνωση GLUE υπερβαίνει την απόδοση του GPT-2 κατά 15 ποσοστά. Τα ευρήματα δείχνουν ότι η ενδιάμεση προεκπαίδευση σε κείμενα που αποτελούν παράδειγμα βασικών ικανοτήτων συλλογισμού (όπως συνήθως καλύπτονται από εγχειρίδια κριτικής σκέψης) μπορεί να βοηθήσει τα γλωσσικά μοντέλα να αποκτήσουν ένα ευρύ φάσμα δεξιοτήτων λογικής. Τα συνθετικά επιχειρηματολογικά κείμενα που παρουσιάζονται στην παρούσα εργασία αποτελούν μια ελπιδοφόρα αφετηρία για την οικοδόμηση ενός τέτοιου "προγράμματος σπουδών κριτικής σκέψης για γλωσσικά μοντέλα".Abstract
Este artículo da un primer paso hacia un plan de estudios de pensamiento crítico para modelos de lenguaje autorregresivo neuronal. Introducimos un corpus sintético de argumentos deductivamente válidos y generamos textos argumentativos artificiales para entrenar a Script: un transformador de pensamiento crítico entrenado previamente de manera intermedia basado en GPT-2. Se pueden observar efectos significativos del aprendizaje por transferencia: Entrenado en tres esquemas básicos simples, Script completa con precisión las conclusiones de diferentes tipos de argumentos, y también más complejos. Script generaliza los esquemas de argumentos principales de forma correcta. Además, obtenemos resultados consistentes y prometedores para los puntos de referencia de NLU. En particular, la precisión de tiro cero de Script en los diagnósticos GLUE supera el rendimiento de GPT-2 en 15 puntos porcentuales. Los hallazgos sugieren que la capacitación previa intermedia en textos que ejemplifican las habilidades básicas de razonamiento (como las que normalmente se tratan en los libros de texto de pensamiento crítico) podría ayudar a los modelos lingüísticos a adquirir una amplia gama de habilidades de razonamiento. Los textos argumentativos sintéticos presentados en este artículo son un punto de partida prometedor para construir un «plan de estudios de pensamiento crítico para modelos de lenguaje».Abstract
Käesolev töö astub esimese sammu kriitilise mõtlemise õppekava suunas neuraalsete autoregressiivsete keelemudelite jaoks. Tutvustame deduktiivselt kehtivate argumentide sünteetilist korpust ja genereerime kunstlikke argumentatiivseid tekste CRiPT koolitamiseks: kriitilise mõtlemise vahendusel GPT-2-l põhinev eelkoolitud trafo. Märkida võib märkimisväärseid siirdeõppe mõjusid: kolme lihtsa põhiskeemi koolitatud CRiPT täidab täpselt järeldusi ka erinevatest ja keerukamatest argumentidest. CRiPT üldistab põhiargumendi skeemid õigel viisil. Lisaks saavutame järjepidevaid ja paljulubavaid tulemusi NLU võrdlusnäitajate jaoks. CRiPT null-shot täpsus GLUE diagnostikas ületab GPT-2 jõudlust 15 protsendipunkti võrra. Tulemused näitavad, et vahepealne eelkoolitus tekstide kohta, mis näitavad põhilisi arutlusvõimeid (nagu tavaliselt kajastatakse kriitilise mõtlemise õpikutes), võib aidata keelemudelitel omandada mitmesuguseid arutlusoskusi. Käesolevas dokumendis esitatud sünteetilised argumentatiivsed tekstid on paljulubav lähtepunkt sellise "kriitilise mõtlemise õppekava loomiseks keelemudelitele".Abstract
این کاغذ اولین قدم به سمت یک برنامه آموزشی فکری سنگینی برای مدل زبانهای خودکارگریز عصبی میگیرد. ما یک کورپوس سینتاتیک از ارتباطات قابل توجه میکنیم و متنهای مصنوعی مصنوعی را برای آموزش CRiPT تولید میکنیم: یک تغییردهنده قابل توجه به وسیلهی پیش آموزش بر اساس GPT-2. اثرات یادگیری مهم انتقال قابل توجه میشود: بر سه نقشههای اصلی ساده آموزش میشود، CRiPT دقیقا نتیجههای مختلف را کامل میکند، و نوع مجموعههای پیچیدهتر را هم کامل میکند. CRiPT نقشههای اصلی ارتباط را به طریق درست ژنرال میکند. و ما نتیجههای موجود و قولدهنده برای سنجیرههای NLU را میگیریم. مخصوصاً دقیقات صفر تصویر CRiPT در تشخیص GLUE با ۱۵ درصد نقطه عملکرد GPT-2 بیشتر است. این نتیجه ها پیشنهاد میدهند که پیش آموزش بینالمللی بر متنها که توانایی منطقی بنیادی را (مثل معمولاً در کتابهای یادآوریهای فکری سنگینی) میتواند به مدلهای زبان کمک کند تا یک مجموعه از مهارتهای منطقی فراوان را به دست آ متنهای مجموعهای که در این کاغذ پیشنهاد شدهاند، یک نقطهی شروع وعدهدهنده برای ساختن یک نقطهی تحصیلآموزشهای فکری سنتی برای مدلهای زبان است.Abstract
Tämä artikkeli ottaa ensimmäisen askeleen kohti kriittisen ajattelun opetussuunnitelmaa neuron itseregressiivisille kielimalleille. Esittelemme synteettisen korpusen deduktiivisesti pätevistä argumenteista ja luomme keinotekoisia argumentatiivisia tekstejä CRiPT:n kouluttamiseksi: kriittisen ajattelun väliaikainen esikoulutettu muuntaja, joka perustuu GPT-2:een. Merkittäviä siirtooppimisvaikutuksia voidaan havaita: CRiPT on koulutettu kolmella yksinkertaisella ydinjärjestelmällä ja täydentää tarkasti erilaisia ja monimutkaisempia argumentteja. CRiPT yleistää keskeiset argumentit oikealla tavalla. Lisäksi saamme johdonmukaisia ja lupaavia tuloksia NLU-vertailuarvoille. Erityisesti CRiPT:n nollatarkkuus GLUE-diagnostiikassa ylittää GPT-2:n suorituskyvyn 15 prosenttiyksiköllä. Tulokset viittaavat siihen, että peruspäättelykykyjä kuvaavien tekstien esikoulutus (kuten tyypillisesti kriittisen ajattelun oppikirjoissa) voisi auttaa kielimalleja hankkimaan monenlaisia päättelytaitoja. Tässä artikkelissa esitellyt synteettiset argumentatiiviset tekstit ovat lupaava lähtökohta tällaisen "kriittisen ajattelun opetussuunnitelman" rakentamiselle kielimalleille.Abstract
Cet article fait un premier pas vers un programme de pensée critique pour les modèles de langage autorégressifs neuronaux. Nous introduisons un corpus synthétique d'arguments déductivement valables et générons des textes argumentatifs artificiels pour entraîner CriT : un transformateur pré-entraîné de pensée critique basé sur GPT-2. Des effets importants de l'apprentissage par transfert peuvent être observés : entraîné sur trois schémas de base simples, CripT complète avec précision les conclusions de types d'arguments différents et plus complexes. CriT généralise correctement les schémas d'arguments de base. De plus, nous obtenons des résultats cohérents et prometteurs pour les benchmarks NLU. En particulier, la précision de tir zéro de CripT sur les diagnostics GLUE dépasse les performances de GPT-2 de 15 points de pourcentage. Les résultats suggèrent qu'une pré-formation intermédiaire sur des textes qui illustrent des capacités de raisonnement de base (telles que celles généralement couvertes dans les manuels de pensée critique) pourrait aider les modèles linguistiques à acquérir un large éventail de compétences de raisonnement. Les textes argumentatifs synthétiques présentés dans cet article constituent un point de départ prometteur pour construire un tel « programme de pensée critique pour les modèles linguistiques ».Abstract
Glacann an páipéar seo an chéad chéim i dtreo curaclam smaointeoireacht chriticiúil le haghaidh samhlacha néaracha uath-aischéimnitheacha teanga. Tugaimid isteach corpas sintéiseach d'argóintí atá bailí asbhainteach, agus ginimid téacsanna argóinteacha saorga chun CRiPT a thraenáil: claochladán réamhoilte smaointeoireacht chriticiúil bunaithe ar GPT-2. Is féidir éifeachtaí suntasacha foghlama aistrithe a thabhairt faoi deara: Agus é oilte ar thrí chroíscéim shimplí, cuireann CRiPT conclúidí i gcrích go beacht maidir le cineálacha argóintí éagsúla agus níos casta freisin. Déanann CRiPT na scéimeanna lárnacha argóinte a ghinearálú ar bhealach ceart. Ina theannta sin, faightear torthaí comhsheasmhacha agus gealltanais do thagarmharcanna NLU. Go háirithe, sáraíonn cruinneas náid lámhaigh CRiPT ar dhiagnóisic GLUE feidhmíocht GPT-2 15 pointe céatadáin. Tugann na torthaí le fios go bhféadfadh réamhoiliúint idirghabhálaí ar théacsanna a léiríonn bunchumais réasúnaíochta (amhail a chlúdaítear go hiondúil i téacsleabhair smaointeoireacht chriticiúil) cuidiú le samhlacha teanga raon leathan de scileanna réasúnaíochta a shealbhú. Is pointe tosaigh dóchasach iad na téacsanna argóinteacha sintéiseacha a chuirtear i láthair sa pháipéar seo chun “curaclam machnaimh chriticiúil do mhúnlaí teanga” den sórt sin a thógáil.Abstract
Wannan takardar ta karɓi wata ta farko zuwa wani kuron na'ura na muhimmi wa misalin harshen farat-regressive na farat ɗaya. Tuna fara wani littafai na daidaita da takarda masu inganci, kuma ke samun littafan masu yin rubutu da bakwai dõmin a sanar da CRiPT: wani fikon muhimmi mai muhimmi a tsakanin da aka yi wa shishi a gaba-tun GPT-2. An gane Effekt na Shirin Motsi da Hakima: An Tayyar da shi kan shiryuwar kwamfyuta uku na kima, CRiPT na cika fassaran daban-daban, da kuma wasu nau'i masu husũma. CRiPT na ƙiƙiro shirin baka cikin shirin argument daidai. Kayya, za'a sami matsalar da ake yi mana alkawari wa NLU. A cikin ƙayyade, CRiPT's sifire-shot na GLUU yana ƙaranci ga aikin GPT-2 da point 15. Fakatannin ana gaya cewa misãlai abincin masu bastarwa (kamar misali wanda aka rufe cikin littãfin masu muhimmi na tunãni) za'a iya amfani da misalin harshen na'urar da za'a sami tsari masu fasihi mai girma. Mataimakin da ke daidaita cikin wannan takardan da aka bãyar da shi, yana da wani abu mai yi wa'adi da wa'asar wa'urar fikawa na muhimmi wa misalin harshe.Abstract
העיתון הזה לוקח צעד ראשון לכיוון תוכנית מחשבה קריטית למודלים של שפה אוטו-רגרסיבית עצבית. אנחנו מציגים קופוס סינטטי של טיעונים מתאימים בהפסקה, ויוצרים טקסטים מלאכותיים לטקסטים לאימון CRiPT: מחשבה קריטית משתנה מאומנת מראש מבוססת על GPT-2. אפשר לצפות בהשפעות למידה משמעותיות של העברה: מאומנים על שלושה מערכות ליבה פשוטות, CRiPT מושלמים בדיוק מסקנות של סוגים שונים, וגם טיעונים מורכבים יותר. CRiPT generalizes the core argument schemes in a correct way. חוץ מזה, אנחנו מקבלים תוצאות קבועות ומבטיחות עבור נקודות רמז NLU. במיוחד, מדויקת ירייה אפס של CRiPT על האבחנה GLUE מעלית ביצועים של GPT-2 ב-15 נקודות אחוזיות. הממצאים מציעים שאימונים מתקדמים על טקסטים שמדגימים יכולות הגיוניות בסיסיות (כמו שכוסות בדרך כלל בספרי מחשבה קריטית) עלולים לעזור לדוגמנים לשפה להשיג מגוון רחב של כישורי הגיוניות. הטקסטים הסינטטיים הנוכחים בעיתון הזה הם נקודת התחלה מבטיחה לבניין כזה "תוכנית מחשבה קריטית למודלים לשפה".Abstract
यह पेपर तंत्रिका ऑटो-प्रतिगामी भाषा मॉडल के लिए एक महत्वपूर्ण सोच पाठ्यक्रम की ओर पहला कदम उठाता है। हम निगमनात्मक रूप से मान्य तर्कों का एक सिंथेटिक कॉर्पस पेश करते हैं, और सीआरआईपीटी को प्रशिक्षित करने के लिए कृत्रिम तर्कपूर्ण ग्रंथों को उत्पन्न करते हैं: जीपीटी -2 के आधार पर एक महत्वपूर्ण सोच मध्यस्थ रूप से पूर्व-प्रशिक्षित ट्रांसफार्मर। महत्वपूर्ण हस्तांतरण सीखने के प्रभाव देखे जा सकते हैं: तीन सरल कोर योजनाओं पर प्रशिक्षित, सीआरआईपीटी सटीक रूप से विभिन्न, और अधिक जटिल प्रकार के तर्कों के निष्कर्षों को पूरा करता है। CRiPT एक सही तरीके से मूल तर्क योजनाओं को सामान्यीकृत करता है। इसके अलावा, हम एनएलयू बेंचमार्क के लिए सुसंगत और आशाजनक परिणाम प्राप्त करते हैं। विशेष रूप से, GLUE डायग्नोस्टिक्स पर CRIPT की शून्य-शॉट सटीकता GPT-2 के प्रदर्शन को 15 प्रतिशत अंक से अधिक है। निष्कर्ष बताते हैं कि ग्रंथों पर मध्यस्थ पूर्व-प्रशिक्षण जो बुनियादी तर्क क्षमताओं का उदाहरण देते हैं (जैसे कि आमतौर पर महत्वपूर्ण सोच पाठ्यपुस्तकों में कवर किया जाता है) भाषा मॉडल को तर्क कौशल की एक विस्तृत श्रृंखला प्राप्त करने में मदद कर सकता है। इस पेपर में प्रस्तुत सिंथेटिक तर्कसंगत ग्रंथ इस तरह के "भाषा मॉडल के लिए महत्वपूर्ण सोच पाठ्यक्रम" के निर्माण के लिए एक आशाजनक प्रारंभिक बिंदु हैं।Abstract
Ovaj papir preduzima prvi korak ka kritičnom razmišljanju programu za neuralne automatske regresivne jezičke modele. Predstavljamo sintetički korpus deduktivno validnih argumentacija i stvaramo umjetne argumentativne tekste za obuku CRiPT-a: kritično razmišljanje međuvremeno predobučenog transformatora na temelju GPT-2. Može se primijetiti značajni učinci prijenosa: obučeni na tri jednostavne osnovne shme, CRiPT precizno završava zaključke različitih i složenijih vrsta argumentacija. CRiPT generalizira osnovne argumentacije na pravi način. Osim toga, dobijamo konsekventne i obećavajuće rezultate za NLU kriterije. Posebno, preciznost CRiPT-a nula pucnjava na dijagnostiku GLUE-a nadmašuje učinkovitost GPT-2 za 15 postotnih točka. Naučenja ukazuju na to da bi prosječni predobuka na tekstima koji primjenjuju osnovne razumne sposobnosti (kao što je obično pokrivene kritičnim razmišljanjima udžbenicima) mogli pomoći jezičkim modelima da bi dobili širok niz razumnih vještina. Sintetički argumentativni teksti predstavljeni u ovom papiru su obećavajuća početna tačka za izgradnju takvog "kritičnog programa razmišljanja za jezičke modele".Abstract
Ez a tanulmány egy első lépést tesz az idegi auto-regresszív nyelvi modellek kritikus gondolkodási tantervének felé. Bevezetünk egy deduktív érvekből álló szintetikus korpuszt, és mesterséges érvelő szövegeket generálunk a CRiPT kiképzésére: egy kritikus gondolkodás közvetítően előre képzett GPT-2 alapú transzformátor. Jelentős transzfer tanulási hatások figyelhetők meg: A CRiPT három egyszerű alapszabályon képzett, a különböző és összetettebb típusú érvek következtetéseit is pontosan kiegészíti. A CRiPT helyes módon általánosítja a fő argumentum sémákat. Ezenkívül következetes és ígéretes eredményeket érünk el az NLU referenciaértékek tekintetében. Különösen a CRiPT nulla lövési pontossága a GLUE diagnosztikában 15 százalékponttal meghaladja a GPT-2 teljesítményét. A megállapítások arra utalnak, hogy az alapvető érvelési képességeket példázó szövegekkel kapcsolatos közvetítő előképzés (mint például a kritikus gondolkodási tankönyvekben jellemzően lefedett) segíthet a nyelvi modelleknek az érvelési készségek széles skálájának elsajátításában. A tanulmányban bemutatott szintetikus érvelő szövegek ígéretes kiindulópontot jelentenek egy ilyen "kritikus gondolkodási tanterv nyelvi modellekhez".Abstract
Այս հոդվածը առաջին քայլն է անում դեպի քննադատական մտածողության ուսումնական ծրագիր նյարդային ինքնառեգրեսիվ լեզվի մոդելների համար: Մենք ներկայացնում ենք արտադրողականորեն ճշգրիտ բանավեճերի սինթետիկ կորպոս և ստեղծում ենք արհեստական բանավեճող տեքստեր, որպեսզի վարժեցնենք ԿրիՓԹ-ին' կարևոր մտածողականորեն նախավարժեցված վերածիչ, հիմնված GPT-2-ի Կարելի է հետևել նշանակալի փոխանցման ուսումնական ազդեցություններին. կրթություն ունենալով երեք պարզ հիմնական ծրագրերի վրա, Քրիպտոն ճշգրիտ կատարում է տարբեր, ավելի բարդ տեսակի բանավեճերի եզրակացությունները: Կրիպտոն ճիշտ կերպ ընդհանրացնում է հիմնական բանավեճերի ծրագրերը: Ավելին, մենք ստանում ենք համապատասխան և խոստացնող արդյունքներ ՆԼՄ-ի հարաբերականների համար: In particular, CRiPT's zero-shot accuracy on the GLUE diagnostics exceeds GPT-2's performance by 15 percentage points. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. Այս աշխատանքում ներկայացված սինթետիկ բանավեճող տեքստերը խոստացնող սկզբնական կետ են լեզվի մոդելների համար այսպիսի "կարևոր մտածողության ուսումնական ծրագիր" կառուցելու համար:Abstract
Kertas ini mengambil langkah pertama menuju kurikulum pemikiran kritis untuk model bahasa otoregresif saraf. We introduce a synthetic corpus of deductively valid arguments, and generate artificial argumentative texts to train CRiPT: a critical thinking intermediarily pre-trained transformer based on GPT-2. Efek belajar transfer yang signifikan dapat diperhatikan: dilatih pada tiga skema inti sederhana, CRiPT akurat menyelesaikan kesimpulan dari jenis argumen yang berbeda, dan tipe argumen yang lebih kompleks juga. CRiPT menyebarkan skema argumen utama dengan cara yang benar. Selain itu, kita mendapatkan hasil konsisten dan berjanji untuk benchmarks NLU. Terutama, akurasi CRiPT pada diagnostik GLUE melebihi prestasi GPT-2 dengan 15 poin persentasi. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. The synthetic argumentative texts presented in this paper are a promising starting point for building such a 'critical thinking curriculum for language models.'Abstract
Questo articolo fa un primo passo verso un curriculum di pensiero critico per modelli linguistici neurali auto-regressivi. Introduciamo un corpus sintetico di argomenti deduttivamente validi e generiamo testi argomentativi artificiali per formare CRiPT: un trasformatore di pensiero critico mediamente pre-addestrato basato su GPT-2. Si possono osservare effetti significativi sull'apprendimento del trasferimento: addestrato su tre semplici schemi di base, CRiPT completa accuratamente le conclusioni di diversi tipi di argomenti, anche più complessi. CRiPT generalizza gli schemi di argomenti fondamentali in modo corretto. Inoltre, otteniamo risultati coerenti e promettenti per i benchmark NLU. In particolare, la precisione zero-shot di CRiPT nella diagnostica GLUE supera le prestazioni di GPT-2 di 15 punti percentuali. I risultati suggeriscono che la pre-formazione intermedia su testi che esemplificano le capacità di ragionamento di base (come tipicamente trattati nei libri di testo di pensiero critico) potrebbe aiutare i modelli linguistici ad acquisire una vasta gamma di capacità di ragionamento. I testi argomentativi sintetici presentati in questo documento sono un promettente punto di partenza per costruire un tale "curriculum di pensiero critico per i modelli linguistici".Abstract
この論文は、ニューラル自己回帰言語モデルのための批判的思考カリキュラムへの第一歩を踏み出している。 推論的に有効な引数の合成コーパスを導入し、CRiPTをトレーニングするための人工的な引数テキストを生成します。CRiPTは、GPT -2に基づいて事前にトレーニングされた批判的思考トランスフォーマーです。 重大な転送学習効果が観察できる： 3つの単純なコアスキームで訓練されたCRiPTは、異なる、より複雑なタイプの議論の結論を正確に完成させる。 CRiPTは、コア引数スキームを正しい方法で一般化します。 さらに、NLUベンチマークの結果は一貫して有望です。 特に、接着診断におけるCRiPTのゼロショット精度は、GPT -2の性能を15パーセント上回っています。 調査結果は、基本的な推論能力を例示するテキスト（批判的思考の教科書で典型的に取り上げられているような）に関する中間的な事前トレーニングが、言語モデルが幅広い推論スキルを習得するのに役立つ可能性があることを示唆している。 この論文で提示された総合的な議論的テキストは、このような「言語モデルのための批判的思考カリキュラム」を構築するための有望な出発点である。Abstract
Gambar iki bakal kelompok sing sampek defs banjur akeh nggunakaké currikulum kanggo model alat auto-Regresno Language. Awak dhéwé nglebok sistem sing perusahaan winih dhéwé nggawe asal dumadhi, lan nganggep perusahaan seneng sanggunian sing dirangkat nggawe politenessoffpolite"), and when there is a change ("assertive The type of the checksum Label Eres ngomong, cah saben puntuan sing nêr uwong, GLUE dibenalke Jet-2 seneng gawe pancene kotak tentang Mbok ndhukung suggerusan ka tarjamahan mulai-prelimisan seneng pisan-perusahaan sing paling apik dhéwé (koyo ngono nggawe barang akeh dhéwé kuwi tindakan bengko) iso nglanggar model sing luwih apik, iso nggawe akeh vewih akeh basa awak dhéwé. Teks Senetik Senetik sing ngewehhi nang kaper iki dadi sing nguasakno perusahaan kanggo nggawe ngupakan 'program nggawe barang kelas barang kanggo model sing luwih.Abstract
ეს დოკუმენტი კრიტიკური ფიქრობის კრიტიკური კრიტიკური კურსპუმენტი ნეიროლური ავტორეგრესიური ენის მოდელებისთვის. ჩვენ შევცვალობთ სინტეტიკური კორპუსს, რომელიც უკეთესტიურად უკეთესტიურად უკეთესტიური არგუმენტების, და შევქმნით კულტური არგუმენტიური ტექსტი, რომელიც CRiPT-ის გასწავლა: კრიტიკ შეიძლება მონახვა მნიშვნელოვანი გასწავლების ეფექტები: სამი განსაკუთრებული core schemes, CRiPT დასრულებულია განსხვავებული და უფრო კომპლექტური ტიპების გადასრულება. CRiPT იყენებს ძირითადი არგუმენტის სქემის მართლად. დამატებით, ჩვენ მივიღეთ კონსტენსტური და გვეყვებითი შედეგები NLU ბანქმერისთვის. განსაკუთრებულია, CRiPT-ის ნულ-სურათის სიმართლე GLUE დიაგონტიკის განსაკუთრებით უფრო მეტია GPT-2-ის განსაკუთრებით 15 პროცენტის წუთით. შესაძლებლობების შესახებ, რომ ტექსტის საშუალო სამუშაო სამუშაო სამუშაო სამუშაო სამუშაო შესაძლებლობა, რომელიც სამუშაოდ კრიტიკური ფიქრობის სამუშაო სამუშაო სამ სინტეტიკური არგემენტეტიური ტექსტი, რომელიც ამ დომენტში ჩვენებულია, იგივეა საკუთარი დასაწყებელი წინაწყისი, რომელიც ასეთი "კრიტიკური ფიქრობის კრიტიკურAbstract
Бұл қағаз неврал автоматты түрде регрессивні тіл үлгілерінің критикалық ойлау бағдарламасына бірінші қадам алды. Біз синтетикалық түрде дұрыс аргументтердің синтетикалық корпусын келтіреміз, және CRiPT- ды оқыту үшін әртүрлі аргументациялық мәтінді құрамыз: GPT- 2 негізінде негізделген аргументалдық түрлендіруші. Маңызды тасымалдау оқыту эффекттері байқауға болады: үш қарапайым негізгі сұлбалар бойынша оқылған, CRiPT түрлі аргументтердің соңындарын дұрыс аяқтайды, және аргументтердің аргументтерінің CRiPT негізгі аргументтің сұлбаларын дұрыс түрде жасайды. Қосымша, біз NLU бағдарламаларының тұрақты және әлемді нәтижелерін аламыз. Әрине, GLUE диагностикасындағы CRiPT- дың нөл сүру дұрыстығы GPT- 2 жылдамдығына 15 пайызында артық болады. Бұл тапсырмалар негізгі сезімдік мүмкіндіктерді (мысалы, тәжірибелі оқыту кітаптарына жазылған) мәтіндердің орташа алдындағы оқыту мүмкіндіктері тілдердің үлгілеріне көмектесуі мүмкін. Бұл қағазда көрсетілген синтетикалық аргументациялық мәтіндер - тіл үлгілері үшін тұратын "критикалық оқыту бағдарламасы" деген бағдарлама.Abstract
본고는 신경 자귀환 언어 모델의 비판적 사고 과정을 위한 첫걸음이다.우리는 유효한 논거를 연역하는 합성 어료 라이브러리를 도입하고 인공 논거 텍스트를 생성하여script를 훈련시켰다. GPT-2를 바탕으로 하는 비판적 사고 중개 예비 훈련 변환기이다.뚜렷한 이동 학습 효과를 관찰할 수 있다. 세 가지 간단한 핵심 방안에서 훈련한 후에 Script도 서로 다른 유형, 더욱 복잡한 유형의 논점에 대한 결론을 정확하게 완성할 수 있다.Script는 핵심 매개변수 시나리오를 올바르게 요약합니다.또한 NLU 벤치마크에 대해 일관되고 희망적인 결과를 얻었습니다.특히 스크립트의 GLUE diagnostics에서의 제로 사격 정밀도는 GPT-2 성능보다 15%포인트 높았다.연구 결과에 따르면 기본적인 추리 능력을 나타내는 텍스트(예를 들어 비판적 사고 교과서에 일반적으로 포함된 텍스트)를 중간 교육을 실시하면 언어 모델이 광범위한 추리 기능을 얻는 데 도움이 될 수 있다.본고에서 제시한 종합 논변 텍스트는'언어모델 비판적 사고 과정'을 구축하는 희망적인 출발점이다Abstract
This paper takes a first step towards a critical thinking curriculum for neural auto-regressive language models. Įvedame sintetinį atskaitingai pagrįstų argumentų rinkinį ir kuriame dirbtinius argumentacinius tekstus CRiPT mokymui: kritinio mąstymo tarpiniu būdu parengtas transformatorius, pagrįstas GPT-2. Significant transfer learning effects can be observed: Trained on three simple core schemes, CRiPT accurately completes conclusions of different, and more complex types of arguments, too. CRiPT generalizes the core argument schemes in a correct way. Moreover, we obtain consistent and promising results for NLU benchmarks. Visų pirma CRiPT nulinio nuotraukos tikslumas, susijęs su GLUE diagnoze, viršija GPT-2 veiksmingumą 15 procentinių punktų. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. Šiame dokumente pateikti sintetiniai argumentaciniai tekstai yra perspektyvus pradinis taškas kurti tokį "kritinio mąstymo kalbų modelių mokymo programą".Abstract
Овој документ презема прв чекор кон наставен план за критично размислување за нервните авто-регресивни јазички модели. Ние воведуваме синтетички корпус од дедуктивно валидни аргументи и генерираме вештачки аргументативни тексти за обука на CRiPT: критичко мислење меѓувремено предобучен трансформатор базиран на GPT-2. Може да се набљудуваат значителни ефекти на префрлање на учењето: обучени на три едноставни основни шеми, КрИПТ точно ги комплетира заклучоците од различни и покомплексни видови на аргументи, исто така. CRiPT ги генерализира основните аргументи на вистински начин. Покрај тоа, добиваме константни и ветувачки резултати за benchmarks на НЛУ. Посебно, нулта точност на CRiPT за дијагностиката GLUE ја надминува резултатот на GPT-2 за 15 процентни поени. Од заклучоците се покажува дека меѓународната предобука за текстите кои ги примеруваат основните размислувачки способности (како што обично се покриени во учебниците за критично размислување) би можела да им помогне на јазичките модели да добијат широк опсег на размислувачки способности. Синтетичките аргументативни тексти претставени во овој весник претставуваат ветувачка почетна точка за изградба на ваков „критичен наставен план за размислување за јазичките модели“.Abstract
ഈ പത്രത്തിലേക്ക് ആദ്യ ചിന്തിക്കുന്നത് ന്യൂറല് സ്വയമായ ഭാഷ മോഡലുകള്ക്ക് വേണ്ടിയാണ്. നമ്മള് ഒരു സിന്റെറ്റിക്ക് കോര്പ്സിനെ പരിശീലിപ്പിക്കുന്നു. പിന്നെ ഗിപിടി-2 അടിസ്ഥാനത്തിന് അടിസ്ഥാനമായി പരിശീലിപ്പിക്കുന്ന വാക്കുകള് സൃഷ്ടിക Significant transfer learning effects can be observed: Trained on three simple core schemes, CRiPT accurately completes conclusions of different, and more complex types of arguments, too. CRiPT ശരിയായ രീതിയില് കൂടുതല് ആര്ഗ്യുമെന്റ് പദ്ധതിയെ ജനറല് ചെയ്യുന്നു. അതുകൊണ്ടും, നമ്മള് നിര്ബന്ധിതമായും വാഗ്ദാനം നല്കുന്ന ഫലങ്ങള് ലഭിക്കുന്നു. പ്രത്യേകിച്ച്, GLUE ഡിയോഗിസ്റ്റിക്സില് CRiPT-ന്റെ പൂര്ണ്ണമായ ശൂന്യതയുടെ പരിഗണനത്തിന് 15 ശതമാന പോയിന്റുകള്ക്ക് മേല് GP കണ്ടുപിടിക്കുന്നത് മുന്നില് പദാവലികളില് നിന്നും മുന്നോട്ട് പരിശീലിക്കുന്നത് ഉദാഹരണമാക്കുന്ന അടിസ്ഥാനമായ കാര്യങ്ങളുടെ കഴിവുകള് (സാധാരണ ചിന്തിക്ക ഈ പത്രത്തില് പ്രദര്ശിപ്പിക്കപ്പെട്ട സിന്തെറ്റിക്ക് വാദിക്കുന്ന വാക്കുകള് ഭാഷ മോഡലുകള്ക്കായി 'അത്തരം ചിന്തികAbstract
Энэ цаас мэдрэлийн автоматаар сэтгэл хөтөлбөрийн хамгийн чухал сэтгэл хөтөлбөр руу анхны алхам шаарддаг. Бид шинжлэх ухааны аргументын синтетик корпус бий болгож, CRiPT-г суралцахын тулд уран бүтээлч аргументын текст бий болгодог. GPT-2 дээр сургалтын аль хэдийн шинжлэх ухааны хувьд чухал бодол юм. Маш чухал шилжүүлэлт суралцах үйл ажиллагааны нөлөө үзэж болно: гурван энгийн үндсэн схемүүд дээр суралцагдсан, CRiPT өөр өөр төрлийн, илүү төвөгтэй аргументын төгсгөлүүдийг тодорхойлж чаддаг. CRiPT нь үндсэн аргументын схемүүдийг зөв арга замаар ерөнхийлүүлдэг. Үүнээс гадна бид НЛУ-ын салбаруудын үр дүнтэй, амлалтай үр дүнг олж авдаг. Ялангуяа, CRiPT-ын 0-шууд тодорхойлолт нь GLUE диагностик дээр GPT-2-ын үйл ажиллагааг 15 хувиар нэмэгдүүлдэг. Үр дүн нь үндсэн ойлголтын чадварыг жишээлбэл (ихэвчлэн шинжлэх ухааны ном дээр дүүрэгдсэн) хэлний загварууд олон олон ойлголтын чадварыг авах боломжтой болно. Энэ цаасан дээр тайлбарласан синтетик аргументуудын текст бол хэл загварын хувьд чухал бодох сургалтын хөтөлбөр юм.Abstract
Kertas ini mengambil langkah pertama ke arah kurikulum pemikiran kritik untuk model bahasa otoregresif saraf. Kami memperkenalkan korpus sintetik argumen yang sah secara deduktif, dan menghasilkan teks argumen buatan untuk melatih CRiPT: pemindah yang berfikir kritik secara sementara dilatih berdasarkan GPT-2. Significant transfer learning effects can be observed: Trained on three simple core schemes, CRiPT accurately completes conclusions of different, and more complex types of arguments, too. CRiPT umumkan skema argumen utama dengan cara yang betul. Moreover, we obtain consistent and promising results for NLU benchmarks. Secara khususnya, ketepatan tembakan sifar CRiPT pada diagnostik GLUE melebihi prestasi GPT-2 dengan 15 poin peratus. Kesemuan menunjukkan bahawa praselatihan sementara pada teks yang menggambarkan kemampuan alasan as as (seperti biasanya ditutup dalam buku teks pemikiran kritik) mungkin membantu model bahasa untuk mendapatkan julat luas kemampuan alasan. The synthetic argumentative texts presented in this paper are a promising starting point for building such a 'critical thinking curriculum for language models.'Abstract
Dan id-dokument jieħu l-ewwel pass lejn kurrikulu ta’ ħsieb kritiku għall-mudelli tal-lingwi awto-rigressivi newrali. Aħna nintroduċu korpus sintetiku ta’ argumenti validi b’mod deduttiv, u niġġeneraw testi argumentattivi artifiċjali biex inħarrġu CRiPT: trasformatur ta’ ħsieb kritiku mħarreġ minn qabel ibbażat fuq GPT-2. Jistgħu jiġu osservati effetti sinifikanti ta’ tagħlim ta’ trasferiment: Taħriġ fuq tliet skemi ċentrali sempliċi, CRiPT jikkompleta b’mod preċiż il-konklużjonijiet ta’ tipi differenti u aktar kumplessi ta’ argumenti, ukoll. CRiPT jiġġeneralizza l-iskemi ta’ argumenti ewlenin b’mod korrett. Moreover, we obtain consistent and promising results for NLU benchmarks. B'mod partikolari, il-preċiżjoni ta' CRiPT b'zero shot fuq id-dijanjosi GLUE taqbeż il-prestazzjoni tal-GPT-2 bi 15-il punt perċentwali. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. The synthetic argumentative texts presented in this paper are a promising starting point for building such a 'critical thinking curriculum for language models.'Abstract
Deze paper zet een eerste stap naar een kritisch denkcurriculum voor neuronale auto-regressieve taalmodellen. We introduceren een synthetisch corpus van deductief geldige argumenten en genereren kunstmatige argumentatieve teksten om CRiPT te trainen: een kritisch denkende intermediair voorgetrainde transformator op basis van GPT-2. Aanzienlijke transferleereffecten kunnen worden waargenomen: getraind op drie eenvoudige kernschema's, voltooit CRiPT nauwkeurig conclusies van verschillende en complexere soorten argumenten. CRiPT generaliseert de kernargumentschema's op een correcte manier. Bovendien behalen we consistente en veelbelovende resultaten voor NLU benchmarks. Met name de zero-shot nauwkeurigheid van CRiPT op de GLUE diagnose overschrijdt de prestaties van GPT-2 met 15 procentpunten. De bevindingen suggereren dat intermediaire pre-training over teksten die een voorbeeld vormen van fundamentele redeneringsvaardigheden (zoals meestal behandeld in studieboeken voor kritisch denken) taalmodellen kan helpen om een breed scala aan redeneringsvaardigheden te verwerven. De synthetische argumentatieve teksten die in deze paper worden gepresenteerd zijn een veelbelovend uitgangspunt voor het bouwen van zo'n 'kritisch denkcurriculum voor taalmodellen'.Abstract
Denne papiret tar første steg mot ein kritisk tenking- program for neuralt automatisk regressiv språk- modeller. Vi introduserer ein syntetisk korpus med deduktivt gyldige argumenter, og lagar kunstiske argumentativ tekstar for å trene CRiPT: ein kritisk tenking mellomtidig før-treng transformer basert på GPT-2. Sjølvvalde effektar for læring av overføringar kan observerast: Treng på tre enkle kjerneskjemar, CRiPT fullfør akkurat konklusjonar av ulike, og fleire komplekse typar argumenter også. CRiPT generaliserer kjerneargumentskjemane på ein rett måte. I tillegg får vi konsistent og promiserende resultat for NLU-benchmarker. Sjølvsagt er CRiPT sin nullsatt nøyaktighet på GLUE-diagnostikken over GPT-2-utviklinga med 15 prosentpunkt. Finningane tyder på at mellombels føreøving på tekstar som utfører grunnleggjande grunnleggingskapasiteten (som vanlegvis dekka i kritiske tenkingsbøker) kan hjelpa språk-modeller for å henta eit brett rekkje av rasjonsverdiar. Dette syntetiske argumentativne tekstane som er presentert i denne papiret er ein promessant startpunkt for å bygge slik ein «kritisk tenking program for språk-modeller».Abstract
Niniejszy artykuł stanowi pierwszy krok w kierunku programu krytycznego myślenia dla neuronowych modeli językowych autoregresyjnych. Wprowadzamy syntetyczny korpus dedukcyjnie ważnych argumentów i generujemy sztuczne teksty argumentacyjne do treningu CRiPT: pośrednio wytrenowanego transformatora myślenia krytycznego opartego na GPT-2. Można zaobserwować znaczące efekty uczenia się transferowego: przeszkolony na trzech prostych podstawowych schematach CRiPT dokładnie uzupełnia wnioski różnych i bardziej złożonych rodzajów argumentów. CRiPT uogólnia podstawowe schematy argumentów w prawidłowy sposób. Ponadto uzyskujemy spójne i obiecujące wyniki dla benchmarków NLU. W szczególności dokładność zerowa CRiPT w diagnostyce GLUE przekracza wydajność GPT-2 o 15 punkty procentowe. Wyniki sugerują, że pośrednictwo przedszkoleniowe dotyczące tekstów, które ukazują podstawowe umiejętności rozumowania (takie jak zwykle objęte podręcznikami myślenia krytycznego) może pomóc modelom językowym w zdobyciu szerokiego zakresu umiejętności rozumowania. Syntetyczne teksty argumentatywne przedstawione w niniejszym artykule stanowią obiecujący punkt wyjścia do budowy takiego "programu myślenia krytycznego dla modeli językowych".Abstract
Este artigo dá um primeiro passo em direção a um currículo de pensamento crítico para modelos de linguagem neurais auto-regressivos. Introduzimos um corpus sintético de argumentos dedutivamente válidos e geramos textos argumentativos artificiais para treinar o CRiPT: um transformador de pensamento crítico intermediário pré-treinado baseado no GPT-2. Efeitos significativos de aprendizagem de transferência podem ser observados: Treinado em três esquemas básicos simples, o CRiPT também conclui com precisão as conclusões de tipos diferentes e mais complexos de argumentos. O CRiPT generaliza os esquemas de argumentos centrais de maneira correta. Além disso, obtemos resultados consistentes e promissores para benchmarks NLU. Em particular, a precisão zero-shot do CRiPT no diagnóstico GLUE excede o desempenho do GPT-2 em 15 pontos percentuais. As descobertas sugerem que o pré-treinamento intermediário em textos que exemplificam habilidades básicas de raciocínio (como normalmente abordado em livros didáticos de pensamento crítico) pode ajudar os modelos de linguagem a adquirir uma ampla gama de habilidades de raciocínio. Os textos argumentativos sintéticos apresentados neste artigo são um ponto de partida promissor para a construção desse “currículo de pensamento crítico para modelos de linguagem”.Abstract
Această lucrare face un prim pas spre un curriculum de gândire critică pentru modelele lingvistice auto-regresive neurale. Introducem un corpus sintetic de argumente deductiv valide și generăm texte argumentative artificiale pentru a instrui CRiPT: un transformator de gândire critică pre-instruit intermediar bazat pe GPT-2. Pot fi observate efecte semnificative de învățare prin transfer: instruit pe trei scheme simple de bază, CRiPT completează cu precizie concluziile diferitelor tipuri de argumente și mai complexe, de asemenea. CRiPT generalizează schemele de argumente de bază într-un mod corect. Mai mult decât atât, obținem rezultate consistente și promițătoare pentru criteriile de referință NLU. În special, acuratețea zero-shot a CRiPT în diagnosticul GLUE depășește performanța GPT-2 cu 15 puncte procentuale. Rezultatele sugerează că pregătirea intermediară a textelor care exemplifică abilitățile de raționament de bază (cum ar fi, de obicei, acoperite în manualele de gândire critică) ar putea ajuta modelele lingvistice să dobândească o gamă largă de abilități de raționament. Textele argumentative sintetice prezentate în această lucrare reprezintă un punct de plecare promițător pentru construirea unui astfel de "curriculum de gândire critică pentru modele lingvistice".Abstract
Эта статья делает первый шаг к учебной программе критического мышления для нейронных авторегрессивных языковых моделей. Мы вводим синтетический корпус дедуктивно допустимых аргументов и генерируем искусственные аргументативные тексты для обучения CRiPT: критического мышления, предварительно обученного трансформатора на основе GPT-2. Можно наблюдать значительные эффекты обучения передаче: обученный трем простым основным схемам, CRiPT точно завершает выводы различных и более сложных типов аргументов. CRiPT правильно обобщает основные схемы аргументов. Кроме того, мы получаем последовательные и многообещающие результаты для контрольных показателей NLU. В частности, точность нулевого выстрела CRiPT при диагностике КЛЕЯ превышает производительность GPT-2 на 15 процентных пунктов. Полученные результаты свидетельствуют о том, что промежуточная предварительная подготовка по текстам, которые служат примером базовых способностей к рассуждению (таких как те, которые обычно описываются в учебниках по критическому мышлению), может помочь языковым моделям приобрести широкий спектр навыков рассуждения. Синтетические аргументативные тексты, представленные в этой статье, являются многообещающей отправной точкой для создания такой «учебной программы критического мышления для языковых моделей».Abstract
මේ පැත්තේ ප්රථම පැත්තක් වෙනවා විශේෂ විදියට හිතන්න ප්රධාන කාර්යාලම් වලට ස්වයංක්රියාන්ය ව අපි සින්ටෙටික් කොර්පුස් එකක් පෙන්වන්නේ නිසා වැදගත් ප්රශ්නයක්, සහ ක්රියාත්මක ප්රශ්නයක් පණිවිධි කරනවා CRiPT ප්රශ්නයක් කරන්න: GPT- ප්රශ්නයක් ප්රවේශනය ඉගෙන ගන්න ප්රභාවය බලන්න පුළුවන්: සාමාන්ය ක්රීයාත්මක පරීක්ෂණය තුනක් පරීක්ෂණය කරලා තියෙන්න CRiPT සාමාන්ය විදියට මුළු ත්රක්ෂණ පරීක්ෂණය හරියට පරීක්ෂණය කරනවා. තවත්, අපි NLU බෙන්ච්මාර්ක්ස් වලට සාමාන්ය සහ පොරොන්දු විදිහට ගන්නවා. විශේෂයෙන්, CRiPT's zero-shot Precracy on the GLUE Diagram on the GPT-2's Perfection by 15 percentage Points. The find environs show that intermediary pre-Training on texts that example underscore Reasoning Captivities (e.g. සාමාන්ය විශ්වාසික හිතන පොත්තුවක් වල හොයාගන්න) may help language Models to have a vast series of Reasoning Captivities. මේ පැත්තේ පෙන්වන්න ප්රශ්නයක් තියෙන සංවේදනය විදිහට ප්රශ්නයක් තියෙන්නේ 'භාෂා මොඩේල්ස් වෙනුවෙන් විAbstract
Ta prispevek naredi prvi korak k učnemu načrtu kritičnega razmišljanja za nevronske avtomategresivne jezikovne modele. Predstavljamo sintetični korpus deduktivno veljavnih argumentov in ustvarjamo umetna argumentativna besedila za usposabljanje CRiPT: vmesno vnaprej usposobljenega transformatorja kritičnega mišljenja na osnovi GPT-2. Opazimo lahko pomembne učinke prenosa učenja: CRiPT, usposobljen na treh preprostih osnovnih shemah, natančno dokonča zaključke različnih in bolj kompleksnih vrst argumentov. CRiPT pravilno posploši osrednje argumente sheme. Poleg tega dosegamo dosledne in obetavne rezultate za referenčne vrednosti NLP. Zlasti CRiPT ničelna natančnost pri diagnostiki GLUE presega zmogljivost GPT-2 za 15 odstotnih točk. Ugotovitve kažejo, da bi lahko vmesno predusposabljanje o besedilih, ki ponazarjajo osnovne sposobnosti razmišljanja (kot so običajno zajete v učbenikih kritičnega razmišljanja), pomagalo jezikovnim modelom pri pridobivanju širokega nabora spretnosti razmišljanja. Sintetična argumentativna besedila, predstavljena v tem prispevku, so obetavno izhodišče za gradnjo takšnega"učnega načrta kritičnega mišljenja za jezikovne modele".Abstract
Qoraalkan waxay u qaadataa kooras hore oo u horeysa qoraalka fikrada oo muhiim ah oo loo sameynayo qaababka luuqada maskaxda ee iskuulka u jeeda. Waxaynu soo bandhignaynaa qalloocyo shaqo leh, waxaana sameynaynaa qoraal saameyn ah si aan CRiPT u tababarinno: fikir muhiim ah bedelka horumarinta oo ku saleysan GPT-2. Waxaa la arki karaa saamaynta waxbarashada ee qiimo ah: Shaqooyin lagu tababaray saddex qorshaha dhexe ee fudud, CRiPT wuxuu si sax ah u dhamaystiraa dhamaadka heshiiska kala duwan iyo sidoo kale noocyo adag ah. CRiPT wuxuu si hagaagsan u sameeyaa qorshaha argumentada ee asalka ah. Sidoo kale, waxaynu helaynaa resultooyin ku saabsan oo ballan ah oo aan u ballanayno qoraalka NLU. In particular, CRiPT's zero-shot accuracy on the GLUE diagnostics exceeds GPT-2's performance by 15 percentage points. Kaalmooyinku waxay ka jeedaan in tababar-horaadka ku qoran qoraalka, tusaale ahaan awoodaha aasaasiga ah ee sababta ah (tusaale ahaan ku daboolan buugaagta fikrada muhiimka ah) waxay caawin karaan tusaale ahaan qaababka luuqada ah si aad u hesho xirfado faro badan oo waxgarashada ah. Qoraalkan ku qoran qoraalka ka dooda ee heshiisiinta ah waa baro ballan ah oo ay dhisaan qoraalka fikrada oo muhiimka ah tusaale ahaan noocyada luuqada.Abstract
Kjo letër bën një hap të parë drejt një kursikuli të menduarit kritik për modelet e gjuhës nervore autoregresive. Ne prezantojmë një korpus sintetik të argumenteve të vlefshme në mënyrë përfundimtare, dhe gjenerojmë tekste argumentuese artificiale për të trajnuar CRiPT: një transformues i trajnuar ndërmjetësisht në mënyrë kritike bazuar në GPT-2. Mund të vëzhgohen efekte të rëndësishme të mësimit të transferit: të stërvitur në tre skema të thjeshta thelbësore, CRiPT përfundon saktësisht përfundimet e llojeve të ndryshme dhe më komplekse të argumenteve gjithashtu. CRiPT gjeneralizon skemat kryesore të argumenteve në një mënyrë të saktë. Përveç kësaj, ne arrijmë rezultate konsistente dhe premtuese për pikat e referimit të NLU. Veçanërisht, saktësia zero-shot e CRiPT në diagnostikën GLUE kalon rezultatin e GPT-2 me 15 përqind pikë. Rezultatet sugjerojnë se paratrajnimi ndërmjetësues i teksteve që shembullojnë aftësitë bazë të arsyetimit (të tilla si tipikisht të mbuluar në librat e mësimeve të mendimit kritik) mund të ndihmojë modelet e gjuhës për të fituar një gamë të gjerë aftësive arsyetimi. Tekstet sintetike argumentuese të paraqitura në këtë letër janë një pikë fillimi premtuese për ndërtimin e një "kurikulli të menduar kritik për modelet gjuhësore".Abstract
Ovaj papir preduzima prvi korak ka kritičnom nastavniku razmišljanja za neuralne automatske regresivne jezičke modele. Predstavljamo sintetički korpus deduktivno validnih argumentacija i stvaramo umjetne argumentativne tekste za obuku CRiPT-a: kritično razmišljanje međuvremeno predobučenog transformatora na temelju GPT-2. Može se posmatrati značajni učinci prijenosa: obučeni na tri jednostavne osnovne šeme, CRiPT precizno završava zaključke različitih i kompleksnih vrsta argumentacija. CRiPT generalizuje osnovne argumentacije na pravi način. Osim toga, dobijamo konsekventne i obećavajuće rezultate za NLU kriterije. Posebno, preciznost CRiPT-a nula pucnjava na GLUE dijagnostiku prelazi GPT-2 izvršnost za 15 postotnih poena. Nalazi ukazuju na to da bi prosječni predobuka na tekstima koji primjenjuju osnovne razumne sposobnosti (kao što je obično pokriveno kritičnim razmišljanjima udžbenicima) mogli pomoći jezičkim modelima da dobiju širok niz razumnih vještina. Sintetički argumentativni teksti predstavljeni u ovom papiru su obećavajuća početna tačka za izgradnju takvog "kritičnog program razmišljanja za jezičke modele".Abstract
Denna uppsats tar ett första steg mot en läroplan för kritiskt tänkande för neurala auto-regressiva språkmodeller. Vi introducerar en syntetisk korpus av deduktivt giltiga argument, och genererar artificiella argumenterande texter för att träna CRiPT: en kritiskt tänkande mellanhand förklädd transformator baserad på GPT-2. Betydande transferinlärningseffekter kan observeras: CRiPT utbildas i tre enkla kärnsystem och kompletterar noggrant slutsatser av olika och mer komplexa typer av argument också. CRiPT generaliserar kärnargumentsscheman på ett korrekt sätt. Dessutom får vi konsekventa och lovande resultat för NLU-riktmärken. Framför allt överstiger CRiPT:s nollskottsnoggrannhet i GLUE-diagnostiken GPT-2:s prestanda med 15 procentenheter. Resultaten tyder på att mellanliggande fortbildning av texter som exemplifierar grundläggande resonemang förmågor (som vanligtvis täcks av läroböcker om kritiskt tänkande) kan hjälpa språkmodeller att förvärva ett brett spektrum av resonemang färdigheter. De syntetiska argumenterande texter som presenteras i denna uppsats är en lovande utgångspunkt för att bygga en sådan "kritiskt tänkande läroplan för språkmodeller".Abstract
Papa hii inachukua hatua ya kwanza kuelekea mfumo wa kufikiri wa muhimu wa mifano ya lugha yenye kudhibiti uraia. Tunaonyesha viungo vya pamoja vya hoja zilizo sahihi, na kutengeneza ujumbe wa mazungumzo ya kisasa kwa ajili ya kufundisha CRiPT: mawazo muhimu ya mabadiliko yaliyojifunza kwa kiasi kikubwa yanayotokana na GPT-2. Matokeo makubwa ya uhamishaji wa kujifunza yanaweza kuonekana: Kujifunzwa kwa mipango mitatu rahisi, CRiPT inatimiza hitimisho la tofauti, na aina ngumu pia. CRiPT inatengeneza mpango wa hoja wa msingi kwa njia sahihi. Zaidi ya hayo, tunapata matokeo yanayoendelea na kuahidini kwa bendera za NLU. In particular, CRiPT's zero-shot accuracy on the GLUE diagnostics exceeds GPT-2's performance by 15 percentage points. Matokeo hayo yanapendekeza kuwa mafunzo ya awali ya kati juu ya ujumbe unaoonesha uwezo wa msingi wa maana (kama vile kawaida ulioandikwa katika vitabu vya kufikiri) inaweza kusaidia mifano ya lugha kupata ujuzi mkubwa wa kuelewa. Maandishi ya mahojiano yaliyotolewa katika gazeti hili ni jambo la kuahidini kuanzisha kwa kujenga mfumo wa kufikiri kwa mifano ya lugha.Abstract
இந்த தாள் ஒரு முதல் படியை புதிய தானியங்கி தானியங்கி கட்டுப்படுத்தும் மொழி மாதிரிகளுக்கு ஒரு சிந்திப்பு செ நாம் தேவையற்ற செல்லுபடியான தருமதிப்புகளின் ஒரு கூட்டிணைப்பை குறிப்பிடுகிறோம் மற்றும் CRiPT பயிற்சி செய்ய சார்ந்த கூற்று வார்ப்புருவை உருவாக் குறிப்பிட்ட மாற்று கற்றுக்கொள்ள விளைவு CRIPT சரியான வழியில் மூல தருமதி முறைமையை உருவாக்குகிறது. மேலும், நாம் NLU பென்குறிப்புகளுக்கு தொடர்ந்து மற்றும் உறுதியான முடிவுகள் கிடைக்கும். குறிப்பிட்டு, GLUE கண்டுபிடிப்பு மீது CRiPT பூஜ்ஜியத்தின் வெளியீட்டு சரிபார்வையை 15 சதவிகிதம் புள்ளிகளால் GPT-2 செயல்ப கண்டுபிடிப்புகள் தெரிவிக்கும் முன் பயிற்சியை உரைகளின் இடையே முன் பயிற்சியை உதாரணமாக்கும் அடிப்படை காரணங்களின் abilities (போன்று சாதாரணமாக சிந்திக்க இந்த காகிதத்தில் கொடுக்கப்பட்ட கூட்டிணைப்பு வாக்குறுப்பு உரைகள் 'மொழி மாதிரிகளுக்கு இது போன்ற ஒரு சிந்திப்பு முAbstract
Bu kagyz neural-regressiv dil modelleri üçin kritiýa düşünýän ders programmasyna ilkinji adım geçýär. Biz değerli şekilde değerli tartışmalar için sintetik bir korpusu tanıtıyoruz ve CRiPT'i eğiten yapan yapay tartışmalı metinler oluşturuyoruz: GPT-2 tabanlı önemli bir şekilde öňünden öňünden gelen bir transformatör. Mühüm transferler öwrenmek etkisi gözlenebilir: üç basit esasy taslaýmlara eğlenen, CRiPT-iň çözümlerini dogry ýagdaýynda tamamlaýar we daşyp karmaşık taslaýmlaryň netijesini hem tamamlaýar. CRiPT esasy argüm tasmynlary dogry yönde döredir. Ayrıca, NLU benchmarkları için daimi ve söz verilen netijeleri alıyoruz. Aýratyn bolsa, CRiPT'iň GLUE dijagnostiklerinde 0-atly takyklygyny GPT-2'iň takyklygyny 15 prosent puçundan gowurar Çaplar mekdeplerde esasy sebäpli düşünýän ukyplary örän öňünden öňünden öňünden eğitim alýan metinler üçin kömek edip biler. Bu kagyzda sunuýan syntetik argenti metinler "dil modelleri üçin wajyp düşünýän programy gurmak üçin söz berýän başlangyç nokadyr."Abstract
یہ کاغذ ایک نئورل-ریگرسی زبان موڈل کے لئے ایک نہایت مشکل فکری کورکیلوم کی طرف پہلی قدم لے رہا ہے. ہم ایک سینٹیسی کورپوس کو معرفی کرتے ہیں جو سینٹیسی قابل معرفیت ہے، اور کریپٹ کی تطان کرنے کے لئے آرٹیسی آرٹیسی ٹیکسٹ پیدا کرتے ہیں: ایک سینٹیسی فکرت کے متوسط سے پیش تطارین کی تغییر دینے والا GPT-2 پر بنیاد اہم ترنسیٹر سیکھنے کے اثرات دیکھ سکتے ہیں: تین سادہ کور سیکھوں پر آموزش کی جاتی ہے، CRiPT مختلف طریقوں کے نتیجے کو دقیقا پورا کرتا ہے، اور بہت پیچیدہ طریقوں کے متعلق بھی. CRiPT اصلی طریقہ سے اصلی ارجмент سکیموں کو عمومی کرتا ہے. اور اس کے بعد ہم نے NLU بانچروں کے لئے ثابت اور وعدہ کا نتیجہ پایا ہے۔ مخصوصاً CRiPT کی صفر-شٹ دقیق GLUE ڈاگنٹیکس پر GPT-2 کی عملکرد 15 فیصد پوینٹ سے زیادہ ہے. پاؤں کی تعلیم یہ سفارش دیتی ہے کہ پاؤں کے متعلق مدینہ کی پیشتربینی کی تعلیم کی مثال ہے جو بنیادی منطقی قابلیت کی مثال بیان کرتی ہے (جیسے معمولاً ذریعہ ذریعہ تفسیر کتابوں میں پوری ہوتی ہے) زبان مدینلوں کی مدد کرتی ہے کہ ان کی مثال اس کاغذ میں پیش کیے جاتے ہیں سینٹیسی بحث کی متن ایک وعدہ کی شروع پوینٹ ہے اس طرح کی "زبان نمڈلوں کے لئے ضروری فکرت کی تعلیم" بنانے کے لئے۔Abstract
Bu qogʻoz bizga avtomatik boshqaruv tilning modellari uchun muhim o'ylab o'ylashga birinchi qadam yuboradi. Biz tashkilotni o'zgartirib tashkilotga ishlatamiz va CRiPT'ni o'rganish uchun ijodkorlik soʻzni yaratdik: GPT-2 asosida muhim fikrlarni o'rganish uchun o'zgarishni o'rganamiz. Significant transfer learning effects can be observed: Trained on three simple core schemes, CRiPT accurately completes conclusions of different, and more complex types of arguments, too. @ info Ko'rsatganda, biz NLU parametrlari uchun davomida va kutilgan natijalar olimiz. Ko'rsatilgan, GLUE diagnostikasida CRiPT'ning nuqta aniqligini 15 foiz pochta bilan GPT-2 bajarishga oshadi. Maʼlumotlar aytganligi, ma'lumot asosiy sabablar qobiliyatlarini (oddiy qiyin o'ylab o'ylab o'ylab kitoblarda) o'xshash tilning modellariga juda ko'proq aqlli darajada foydalanish mumkin. Bu takarda koʻrsatilgan synthetik argumentative matnlari bu til modellari uchun "muhim fikrlash tizimi" dasturini yaratish uchun ishga tushirish imkoniyat.Abstract
Tờ giấy này bước đầu tiên hướng tới một chương trình suy nghĩ quan trọng cho các mô hình ngôn ngữ tự về thần kinh. Chúng tôi giới thiệu một tập hợp các lý lẽ có giá trị từ chối, và tạo ra các văn bản luận văn nhân tạo để huấn luyện CRiT: một cỗ máy biến đổi dựa theo chuẩn mực quan trọng dựa trên GPT-2. Có thể thấy hiệu quả học chuyển nhượng quan trọng: được huấn luyện trên ba cơ bản đơn giản, CRiT hoàn thành chính xác kết quả của các loại lý luận khác nhau, và phức tạp hơn. CRiT tổng hợp các biện pháp chủ yếu theo cách đúng đắn. Hơn nữa, chúng tôi đạt được kết quả chắc chắn và hứa hẹn cho tiêu chuẩn Ntrường. Đặc biệt, độ chính xác không bắn của CRiT trên các chẩn đoán GLUE vượt quá tầm của GPT-2 với thước lượng 15. Những kết quả này cho thấy việc huấn luyện tạm thời trên các văn bản điển hình về những khả năng lập luận cơ bản (như thường được viết trong các giáo trình tư tưởng quan trọng) có thể giúp các mô hình ngôn ngữ học kiếm được một loạt các kỹ năng lập luận. Những văn bản tranh luận tổng hợp được đưa ra trong tờ giấy này là một điểm khởi đầu hứa hẹn để xây dựng "chương trình tư duy quan trọng cho các mô hình ngôn ngữ".Abstract
本文向神经自归语模批判性思维课程第一步。 入演证之合成语料库,生成人工论证文本练CRiPT:基于GPT-2批判性思维中介预训练之转换器。 可以观显迁学习效果:CRiPT练于三简,亦可以正异类。 CRiPT以正法概之。 此外,NLU准试中一致而有望也。 CRiPT于GLUE诊零射精高于GPT-215百分点。 论结果表明,训练于文本(常于批判性思教科书中涵盖者)或助言体广理。 本文综论证文本立此"言语模形批判性思维课程"之望也。- Anthology ID:
- 2021.iwcs-1.7
- Volume:
- Proceedings of the 14th International Conference on Computational Semantics (IWCS)
- Month:
- June
- Year:
- 2021
- Address:
- Groningen, The Netherlands (online)
- Venue:
- IWCS
- SIG:
- SIGSEM
- Publisher:
- Association for Computational Linguistics
- Note:
- Pages:
- 63–75
- Language:
- URL:
- https://aclanthology.org/2021.iwcs-1.7
- DOI:
- Bibkey:
- Cite (ACL):
- Gregor Betz, Christian Voigt, and Kyle Richardson. 2021. Critical Thinking for Language Models. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pages 63–75, Groningen, The Netherlands (online). Association for Computational Linguistics.
- Cite (Informal):
- Critical Thinking for Language Models (Betz et al., IWCS 2021)
- Copy Citation:
- PDF:
- https://aclanthology.org/2021.iwcs-1.7.pdf
- Code
- debatelab/aacorpus
- Data
- GLUE, LogiQA, SNLI
- Terminologies:
Export citation
@inproceedings{betz-etal-2021-critical,
title = "Critical Thinking for Language Models",
author = "Betz, Gregor and
Voigt, Christian and
Richardson, Kyle",
booktitle = "Proceedings of the 14th International Conference on Computational Semantics (IWCS)",
month = jun,
year = "2021",
address = "Groningen, The Netherlands (online)",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2021.iwcs-1.7",
pages = "63--75",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="betz-etal-2021-critical">
<titleInfo>
<title>Critical Thinking for Language Models</title>
</titleInfo>
<name type="personal">
<namePart type="given">Gregor</namePart>
<namePart type="family">Betz</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Christian</namePart>
<namePart type="family">Voigt</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Kyle</namePart>
<namePart type="family">Richardson</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2021-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Proceedings of the 14th International Conference on Computational Semantics (IWCS)</title>
</titleInfo>
<originInfo>
<publisher>Association for Computational Linguistics</publisher>
<place>
<placeTerm type="text">Groningen, The Netherlands (online)</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<identifier type="citekey">betz-etal-2021-critical</identifier>
<location>
<url>https://aclanthology.org/2021.iwcs-1.7</url>
</location>
<part>
<date>2021-06</date>
<extent unit="page">
<start>63</start>
<end>75</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings %T Critical Thinking for Language Models %A Betz, Gregor %A Voigt, Christian %A Richardson, Kyle %S Proceedings of the 14th International Conference on Computational Semantics (IWCS) %D 2021 %8 June %I Association for Computational Linguistics %C Groningen, The Netherlands (online) %F betz-etal-2021-critical %U https://aclanthology.org/2021.iwcs-1.7 %P 63-75
Markdown (Informal)
[Critical Thinking for Language Models](https://aclanthology.org/2021.iwcs-1.7) (Betz et al., IWCS 2021)
- Critical Thinking for Language Models (Betz et al., IWCS 2021)
ACL
- Gregor Betz, Christian Voigt, and Kyle Richardson. 2021. Critical Thinking for Language Models. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pages 63–75, Groningen, The Netherlands (online). Association for Computational Linguistics.