Identification of Languages in Algerian Arabic Multilingual DocumentsAlgerian Arabic Multilingual Documents

Wafia Adouane; Simon Dobnik

doi:10.18653/v1/W17-1301

Identification of Languages in Algerian Arabic Multilingual DocumentsAlgerian Arabic Multilingual Documents ቋንቋዎች ምረጡ KCharselect unicode block name Name

Abstract

This paper presents a language identification system designed to detect the language of each word, in its context, in a multilingual documents as generated in social media by bilingual / multilingual communities, in our case speakers of Algerian Arabic. We frame the task as a sequence tagging problem and use supervised machine learning with standard methods like HMM and Ngram classification tagging. We also experiment with a lexicon-based method. Combining all the methods in a fall-back mechanism and introducing some linguistic rules, to deal with unseen tokens and ambiguous words, gives an overall accuracy of 93.14 %. Finally, we introduced rules for language identification from sequences of recognised words.

Abstract

Hierdie papier stel 'n taal identifikasie stelsel wat ontwerp is om die taal van elke woord, in sy konteks, in 'n veelvuldige tale dokumente te ontdek soos gegenereer is in sosiale media deur twee tale/veelvuldige gemeenskappe, in ons geval sprekkers van Algerië Arabiese. Ons raam die taak as 'n volgorde merking probleme en gebruik superviseerde masjien leer met standaard metodes soos HMM en Ngram klassifikasie merking. Ons het ook eksperimenteer met 'n lexicon-gebaseerde metode. Kombineer al die metodes in 'n val-terugmekanisme en introduseer sommige lingvisse reëls, om met ongesiende tekens en ongelukkige woorde te behandel, gee 'n heeltemal presisie van 93.14%. Eindelik het ons reëls vir taal-identifikasie ingevoer van sekwensies van herken woorde.

Abstract

ይህ ገጽ የቋንቋ-ቋንቋ/ቋንቋ ቋንቋ ቋንቋ ቋንቋን ለማግኘት የቋንቋ ቋንቋ ቋንቋ ቋንቋ ቋንቋ ቋንቋ ቋንቋ ቋንቋ ቋንቋ ቋንቋ እና በአልጋሪኛ ቋንቋ ቋንቋ ቋንቋዎች በተለየ በማኅበራዊ ሚዲያዎች ውስጥ በተፈጠረ የቋ ስራውን እንደ ተጨማሪ መግለጫ እና በተመለከተ ማስተማር እና እንደ HMM እና Ngram መግለጫ ማቀናጃ እና በተጨማሪው መጠቀሚያ መጠቀሚያ እናስጠጋለን፡፡ በ ሌክሲካዊ ሥርዓት እንሞክራለን፡፡ የቋንቋ ቋንቋዎች ሥርዓቶችን በመቀላቀል፣ የተሰወረውን ምልክቶች እና ተቃውሞን ለመቀበል፣ የሙሉ ቁጥር 93.14 በመቶ ይሰጣል፡፡ በመጨረሻም የቋንቋን ማውቀት ሥርዓቶችን ከታወቀው ቃላት ግንኙነት አቀረብን፡፡

Abstract

تقدم هذه الورقة نظامًا لتعريف اللغة مصممًا لاكتشاف لغة كل كلمة ، في سياقها ، في وثائق متعددة اللغات كما تم إنشاؤها في وسائل التواصل الاجتماعي من قبل مجتمعات ثنائية اللغة / متعددة اللغات ، في حالتنا من المتحدثين باللغة العربية الجزائرية. نقوم بتأطير المهمة على أنها مشكلة في وضع علامات التسلسل ونستخدم التعلم الآلي الخاضع للإشراف مع الأساليب القياسية مثل علامات تصنيف HMM و Ngram. نجرب أيضًا طريقة تعتمد على المعجم. الجمع بين جميع الأساليب في آلية الرجوع وإدخال بعض القواعد اللغوية للتعامل مع الرموز غير المرئية والكلمات الغامضة ، يعطي دقة إجمالية تبلغ 93.14٪. أخيرًا ، قدمنا قواعد لتعريف اللغة من تسلسل الكلمات المعترف بها.

Abstract

Bu kağıt hər sözün dilini, əlaqələrində, elçi dil/çoxlu dil toplumları tarafından sosyal media vasitələrində yaratdığı çoxlu dil təşkil sistemini göstərir. Biz bu işi seçmə etiketləmə problemi olaraq yaradırıq və HMM və Ngram klasifikasiyası etiketləməsi kimi standart metodlarla gözləyirik. Biz də leksikon tabanlı metodları ilə təcrübə edirik. Bütün metodları düşmənçilik mehanizmisində birləşdirib, bəzi dil kurallarını təşkil etmək, görmədikləri möcüzələr və müəyyən sözlərlə çəkmək üçün, bütün doğruluqları 93.14%-dən verir. Sonunda, tanınmış sözlərin sıralarından dil kimliğinin qaydalarını tanıdıq.

Abstract

Настоящата статия представя система за идентификация на езика, предназначена да открива езика на всяка дума, в нейния контекст, в многоезични документи, генерирани в социалните медии от двуезични/многоезични общности, в нашия случай говорители на алжирски арабски. Ние оформяме задачата като проблем за последователно етикетиране и използваме контролирано машинно обучение със стандартни методи като класификационно етикетиране. Експериментираме и с лексиконно базиран метод. Комбинирането на всички методи в резервен механизъм и въвеждането на някои езикови правила, за да се справят с невидими символи и двусмислени думи, дава обща точност от 93,14%. Накрая въведохме правила за идентификация на езика от поредици от признати думи.

Abstract

এই পত্রিকাটি প্রত্যেক শব্দের ভাষা সনাক্ত করার জন্য একটি ভাষার পরিচিতির সিস্টেম উপস্থাপন করেছে, যা তার প্রেক্ষাপটে একটি বহুভাষায়, যা সামাজিক মিডিয়ায় তৈ আমরা কাজটিকে সেকেন্ড ট্যাগিং সমস্যা হিসেবে আঁকি এবং স্ট্যান্ডার্ড মেশিন শিক্ষা ব্যবহার করি এইচএমএম এবং এনগ্রাম ক্লাসিফা আমরা লেক্সিকোর ভিত্তিক পদ্ধতি দিয়ে পরীক্ষা করি। পশ্চাতের মেকানিস্তানে সকল পদ্ধতির সাথে যোগাযোগ করা এবং কিছু ভাষাগত নিয়ম প্রযোজ্য করা, অদৃশ্য চিহ্ন এবং অগ্রগতিক শব্দের সাথে মিলে নেওয়া শেষ পর্যন্ত আমরা ভাষার পরিচয়ের নিয়ম চিহ্নিত করেছি চিহ্নিত শব্দগুলো থেকে।

Abstract

ཤོག་བྱང་འདིས་སྐད་ཆ་ངོས་འཛིན་མིང་གི་མ་ལག་ཅིག་སྟོན་ཡོད་པ་ལས་སྐད་རེ་རེ་རེའི་སྐད་ཡིག་དང་། སྐད་ཡིག་ཆ་རྣམས་ནང་དུ་སྤྱི་ཚོགས་འབྲེལ་མཐུད་དང We frame the task as a sequence tagging problem and use supervised machine learning with standard methods like HMM and Ngram classification tagging. ང་ཚོས་གཟུགས་རིས་གཞི་བྱས་པའི་ཐབས་ལམ་ལ་བརྟག་ཞིབ་བྱེད་ཀྱི་འདུག སྐད་རིགས་ཀྱི་ཐབས་ལམ་འདི་ཚོ་མཉམ་དུ་བཏོན་བཤེར་གྱི་ཐབས་ལམ་གཙོ་བྱེད་བཞིན་ཡོད། མཐའ་མར་དུ། ང་ཚོས་ཤེས་པའི་ཡིག་རྟགས་ལ་འཛིན་པའི་སྐད་རིགས་དམིགས་འཛུགས་ཀྱི་ཐབས་ལམ་སྟོན་བྱས།

Abstract

Ovaj papir predstavlja jezički identifikacijski sistem dizajniran da se u svom kontekstu otkrije jezik svake riječi, u multijezičkim dokumentima koji su proizvedeni u društvenim medijima od strane dvojezičkih/multijezičkih zajednica, u našem slučaju govornici Alžirskog Arapskog. Smatramo zadatak kao problem označavanja sekvence i koristimo nadgledano učenje mašine sa standardnim metodama poput HMM i Ngram klasifikacije. Također eksperimentiramo sa metodom na leksikonu. Spojivanje svih metoda u mehanizmu odbijanja i uvođenje nekih jezičkih pravila, kako bi se riješilo nevidljivim znakovima i ambigućim riječima, daje ukupnu tačnost od 93,14%. Konačno smo predstavili pravila za identifikaciju jezika iz redova priznanih riječi.

Abstract

Aquest paper presenta un sistema d'identificació de llenguatges dissenyat per detectar la llengua de cada paraula, en el seu context, en documents multilingües com generats als mitjans socials per comunitats bilingües/multilingües, en el nostre cas parlants d'àrab algèric. Quadrom la tasca com un problem a d'etiquetar seqüències i utilitzem aprenentatge màquinari supervisat amb mètodes estàndard com etiquetar de classificació HMM i Ngram. També experimentem amb un mètode basat en lexicons. Combinant tots els mètodes en un mecanisme de recul i introduint algunes regles lingüístices, per tractar amb fitxes invisibles i paraules ambigues, dóna una precisió global del 93,14%. Finalment, vam introduir regles per identificar la llengua a partir de seqüències de paraules reconegudes.

Abstract

Tento článek představuje jazykový identifikační systém určený k detekci jazyka každého slova v jeho kontextu ve vícejazyčných dokumentech generovaných v sociálních médiích dvojjazyčnými/vícejazyčnými komunitami, v našem případě mluvčími Alžírské arabštiny. Úkol rámcujeme jako problém sekvenčního tagování a používáme strojové učení pod dohledem standardních metod, jako je HMM a Ngram klasifikace tagování. Také experimentujeme s metodou založenou na lexikonu. Kombinace všech metod v mechanismu zpětného odpadu a zavedení některých jazykových pravidel pro řešení neviditelných žetonů a nejednoznačných slov dává celkovou přesnost 93,14%. Nakonec jsme zavedli pravidla pro identifikaci jazyka z sekvencí rozpoznaných slov.

Abstract

Denne artikel præsenterer et sprogidentifikationssystem designet til at detektere sproget i hvert ord, i sin sammenhæng, i et flersproget dokument, som genereres i sociale medier af tosprogede/flersprogede samfund, i vores tilfælde talere af algerisk arabisk. Vi indrammer opgaven som et sekvensmærkningsproblem og bruger overvåget maskinlæring med standardmetoder som HMM og Ngram klassifikationsmærkning. Vi eksperimenterer også med en leksikon-baseret metode. Kombinationen af alle metoderne i en tilbagegangsmekanisme og indførelsen af nogle sproglige regler for at håndtere usynlige tegn og tvetydige ord giver en samlet nøjagtighed på 93,14%. Endelig indførte vi regler for sprogidentifikation ud fra sekvenser af anerkendte ord.

Abstract

Diese Arbeit stellt ein Sprachidentifikationssystem vor, das entwickelt wurde, um die Sprache jedes Wortes in seinem Kontext in mehrsprachigen Dokumenten zu erkennen, die in sozialen Medien von bilingualen/mehrsprachigen Communities generiert werden, in unserem Fall Sprechern algerischer Arabisch. Wir fassen die Aufgabe als Sequenz-Tagging-Problem ein und verwenden überwachtes maschinelles Lernen mit Standardmethoden wie HMM und Ngram Klassifikations-Tagging. Wir experimentieren auch mit einer lexikon-basierten Methode. Die Kombination aller Methoden in einem Fallback-Mechanismus und die Einführung einiger sprachlicher Regeln, um unsichtbare Token und mehrdeutige Wörter zu behandeln, ergibt eine Gesamtgenauigkeit von 93,14%. Schließlich haben wir Regeln für die Spracherkennung aus Sequenzen von erkannten Wörtern eingeführt.

Abstract

Η παρούσα εργασία παρουσιάζει ένα σύστημα αναγνώρισης γλωσσών σχεδιασμένο για να ανιχνεύει τη γλώσσα κάθε λέξης, στο πλαίσιο της, σε ένα πολύγλωσσο έγγραφο όπως δημιουργείται στα μέσα κοινωνικής δικτύωσης από δίγλωσσες/πολύγλωσσες κοινότητες, στην περίπτωσή μας ομιλητές αλγερινικών αραβικών. Το έργο πλαισιώνεται ως ένα πρόβλημα επισήμανσης ακολουθίας και χρησιμοποιούμε επιτηρημένη μηχανική μάθηση με τυποποιημένες μεθόδους όπως η επισήμανση ταξινόμησης και η επισήμανση ταξινόμησης. Επίσης πειραματιζόμαστε με μια μέθοδο βασισμένη στο λεξικό. Ο συνδυασμός όλων των μεθόδων σε έναν μηχανισμό οπισθοδρόμησης και η εισαγωγή ορισμένων γλωσσικών κανόνων, για την αντιμετώπιση των αόρατων σημάτων και των διφορούμενων λέξεων, δίνει μια συνολική ακρίβεια 93.14%. Τέλος, εισαγάγαμε κανόνες για τον προσδιορισμό της γλώσσας από ακολουθίες αναγνωρισμένων λέξεων.

Abstract

Este artículo presenta un sistema de identificación de idiomas diseñado para detectar el idioma de cada palabra, en su contexto, en documentos multilingües generados en las redes sociales por comunidades bilingües/multilingües, en nuestro caso hablantes de árabe argelino. Enmarcamos la tarea como un problema de etiquetado de secuencias y utilizamos el aprendizaje automático supervisado con métodos estándar como el etiquetado de clasificación HMM y Ngram. También experimentamos con un método basado en léxico. Combinar todos los métodos en un mecanismo alternativo e introducir algunas reglas lingüísticas para tratar con símbolos invisibles y palabras ambiguas, proporciona una precisión general del 93,14%. Por último, introdujimos reglas para la identificación de idiomas a partir de secuencias de palabras reconocidas.

Abstract

Käesolev töö esitab keele identifitseerimise süsteemi, mille eesmärk on tuvastada iga sõna keel selle kontekstis mitmekeelsetes dokumentides, mis on loodud sotsiaalmeedias kaks- ja mitmekeelsete kogukondade poolt, meie puhul Alžeeria araabia keelt kõnelevate inimeste poolt. Me kujundame ülesande järjestuse sildistamise probleemina ja kasutame järelevalve all masinõpet standardmeetoditega nagu HMM ja Ngram klassifitseerimise sildistamine. Me eksperimenteerime ka leksikonil põhinevat meetodit. Kõikide meetodite kombineerimine tagasihoiumehhanismis ja mõnede keeleliste reeglite kehtestamine nähtamatute märkide ja ebamäärasete sõnadega annab üldise täpsuse 93,14%. Lõpuks kehtestasime reeglid keele identifitseerimiseks tunnustatud sõnade jadade alusel.

Abstract

این کاغذ یک سیستم شناسایی زبانی را برای شناسایی زبان هر کلمه، در محیط آن، در یک مدارک متعدد زبانی که توسط جامعه های دو زبان/متعدد زبان تولید شده است، توسط محیط ما زبان آلجریه عربی تولید می کند. ما این کار را به عنوان یک مشکل نقاشی برگزار می کنیم و از یادگیری ماشین تحت نظر استاندارد استفاده می کنیم که با روش استاندارد مانند نقاشی HMM و نقاشی برگزار می کنیم. ما همچنین با یک روش بر اساس لکسیکون آزمایش می کنیم. با ترکیب تمام روش‌ها در یک مکانیسم پشتیبانی و معرفی کردن چند قانون زبان‌شناسی، برای حل با نشانه‌های غیب و کلمات مختلف، دقیق عمومی 93.14 درصد می‌دهد. بالاخره، ما قانون شناسایی زبان را از طریق کلمات شناسایی معرفی کردیم.

Abstract

Tässä artikkelissa esitellään kielen tunnistusjärjestelmä, jonka tarkoituksena on tunnistaa kunkin sanan kieli sen kontekstissa monikielisissä asiakirjoissa, jotka kaksikieliset/monikieliset yhteisöt, meidän tapauksessamme algerian arabian puhujat, ovat luoneet sosiaalisessa mediassa. Kehitämme tehtävän sekvenssimerkkausongelmana ja käytämme ohjattua koneoppimista vakiomenetelmillä, kuten HMM- ja Ngram-luokittelulla. Kokeilemme myös sanastoon perustuvaa menetelmää. Kaikkien menetelmien yhdistäminen varamekanismiin ja joidenkin kielellisten sääntöjen käyttöönotto näkymättömien merkkien ja epäselvien sanojen käsittelemiseksi antaa 93,14 prosentin kokonaistarkkuuden. Lopuksi otimme käyttöön säännöt, jotka koskevat kielen tunnistamista tunnistettujen sanojen sekvensseistä.

Abstract

Cet article présente un système d'identification linguistique conçu pour détecter la langue de chaque mot, dans son contexte, dans un document multilingue tel que généré sur les réseaux sociaux par des communautés bilingues/multilingues, dans notre cas des locuteurs de l'arabe algérien. Nous définissons la tâche comme un problème de marquage de séquence et utilisons l'apprentissage automatique supervisé avec des méthodes standard telles que le marquage de classification HMM et Ngram. Nous expérimentons également une méthode basée sur un lexique. La combinaison de toutes les méthodes dans un mécanisme de repli et l'introduction de certaines règles linguistiques, pour traiter les jetons invisibles et les mots ambigus, donne une précision globale de 93,14 %. Enfin, nous avons introduit des règles pour l'identification de la langue à partir de séquences de mots reconnus.

Abstract

Cuireann an páipéar seo i láthair córas aitheantais teanga atá deartha chun teanga gach focal a bhrath, ina chomhthéacs féin, i ndoiciméid ilteangacha arna gineadh ar na meáin shóisialta ag pobail dhátheangacha/ilteangacha, ár gcás cainteoirí hAilgéire Araibis. Déanaimid an tasc a fhrámú mar fhadhb chlibeála seichimh agus úsáidimid meaisínfhoghlaim maoirsithe le modhanna caighdeánacha cosúil le clibeáil rangaithe HMM agus Ngram. Déanaimid triail freisin le modh foclóir-bhunaithe. Trí na modhanna go léir a chomhcheangal i meicníocht chúltaca agus roinnt rialacha teanga a thabhairt isteach, chun déileáil le comharthaí agus focail débhríoch nach bhfacthas riamh roimhe, tugtar cruinneas foriomlán 93.14%. Ar deireadh, thugamar isteach rialacha maidir le sainaithint teanga ó sheichimh focal aitheanta.

Abstract

Wannan takardar na bãyar da wani na'urar shaidar harshe wanda aka yi designon gane harshen kõwane, cikin mukhtansa, a cikin wasu takardar mulki-lingui kamar an ƙãga cikin mitandan jamii da wasu harshe biyu/multilingu, a cikin kashfanmu masu magana na Larabci na Algeria. Kana samar da aikin su kamar wata matalauci na tagogi masu ƙarƙashinta kuma muna amfani da shirin ayuka da aka tsare su da shiryoyin ayuka na daidaita kamar tagogin sigogi na HMM da Ngram. Kayya, tuna jarraba da wani metode a kan leksika. Yi haɗi kowane metode cikin shirin bayani da kuma ya introduce wasu shiryoyin harsheski, ga ka yi aiki da ayukan da ba'a ɓõye ba, yana ga taƙaita na 93.14%. Haƙĩƙa, mun introduce sharia za'a gane harshe daga wasu misãlai da aka sani.

Abstract

העיתון הזה מציג מערכת זיהוי שפה שעושה כדי לזהות את שפת כל מילה, בתוך הקשר שלה, במסמכים רבים שפותיים כפי שנוצרו בתקשורת חברתית על ידי קהילות שתיים-שפותיות/רבות-שפותיות, במקרה שלנו מדברים של ערבית אלג'רית. אנחנו מסגרים את המשימה כבעיה של תג רצף ולהשתמש בלמדת מכונות מבוקשת עם שיטות סטנדרטיות כמו תג מסווג HMM ונגרם. אנחנו גם מנסים עם שיטה מבוססת על לקסיקונים. שילוב את כל השיטות במנגנון הפסקה והציגה של כמה חוקים שפתיים, כדי להתמודד עם סימנים בלתי נראים ומילים סביבות, נותן מדויקת כללית של 93.14%. סוף סוף, הכרנו חוקים לזהות שפה מהרצפים של מילים מוכרות.

Abstract

यह पेपर प्रत्येक शब्द की भाषा का पता लगाने के लिए डिज़ाइन की गई एक भाषा पहचान प्रणाली प्रस्तुत करता है, इसके संदर्भ में, एक बहुभाषी दस्तावेजों में, जैसा कि द्विभाषी / बहुभाषी समुदायों द्वारा सोशल मीडिया में उत्पन्न किया गया है, अल्जीरियाई अरबी के हमारे मामले में बोलने वालों में। हम एक अनुक्रम टैगिंग समस्या के रूप में कार्य फ्रेम और HMM और Ngram वर्गीकरण टैगिंग की तरह मानक तरीकों के साथ पर्यवेक्षित मशीन सीखने का उपयोग करें। हम एक शब्दकोश-आधारित विधि के साथ भी प्रयोग करते हैं। एक फॉल-बैक तंत्र में सभी तरीकों का संयोजन और कुछ भाषाई नियमों को पेश करना, अनदेखी टोकन और अस्पष्ट शब्दों से निपटने के लिए, 93.14% की समग्र सटीकता देता है। अंत में, हमने मान्यता प्राप्त शब्दों के अनुक्रमों से भाषा की पहचान के लिए नियम पेश किए।

Abstract

Ovaj papir predstavlja jezički identifikacijski sustav dizajniran kako bi se u svom kontekstu otkrio jezik svake riječi, u multijezičkim dokumentima koji su proizvedeni u društvenim medijima od strane dvojezičkih/multijezičkih zajednica, u našem slučaju govornika Alžirskog arapskog jezika. Smjestili smo zadatak kao problem označavanja sekvence i koristili nadzorne mašine učenje standardnim metodama poput HMM i Ngram klasifikacije. Također eksperimentiramo sa metodom na temelju leksikona. U kombinaciji svih metoda u mehanizmu povratka i uvođenju nekih jezičkih pravila, kako bi se riješili nevidljivim znakovima i ambigućim riječima, daje ukupnu to čnost od 93,14%. Konačno smo uvodili pravila za identifikaciju jezika iz redova priznanih riječi.

Abstract

Ez a tanulmány egy olyan nyelvazonosító rendszert mutat be, amelynek célja, hogy felismerje az egyes szavak nyelvét, annak kontextusában, egy többnyelvű dokumentumokban, amelyeket a közösségi médiában két nyelvű/többnyelvű közösségek, esetünkben az algériai arab beszélők generálnak. A feladatot sorozatcímkézési problémaként keretezzük fel, és felügyelt gépi tanulást használunk olyan szabványos módszerekkel, mint a HMM és Ngram osztályozási címkézés. Egy lexikon alapú módszerrel is kísérletezünk. Az összes módszer egy visszaeső mechanizmusban történő kombinálása és néhány nyelvi szabály bevezetése a láthatatlan zsetonok és kétértelmű szavak kezelése érdekében 93,14%-os pontosságot eredményez. Végül bevezettük a nyelv azonosítására vonatkozó szabályokat az elismert szavak sorozataiból.

Abstract

Այս աշխատանքը ներկայացնում է լեզվի հայտնաբերման համակարգ, որը ստեղծված է յուրաքանչյուր բառի լեզուն հայտնաբերելու համար, իր կոնտեքստում, բազլեզու փաստաթղթերում, ինչպես ստեղծվել են սոցիալական լրատվամիջոցներում երկլեզու և բազլեզու համայնքների կողմից Մենք այս խնդիրը համապատասխանում ենք որպես հաջորդականության նշանակման խնդիր և օգտագործում ենք վերահսկված մեքենայի ուսումնասիրությունը ստանդարտ մեթոդներով, ինչպիսիք են Hmm և Ngram դասակարգման նշանները: We also experiment with a lexicon-based method. Միացնելով բոլոր մեթոդները վերջնական մեխանիզմի մեջ և ներկայացնելով որոշ լեզվաբանական կանոններ, անտեսանելի նշանների և երկիմաստ բառերի լուծման համար, ընդհանուր ճշմարտությունը 93.14 տոկոս է տալիս: Վերջապես, մենք ներկայացրեցինք լեզվի ճանաչման կանոնները ճանաչված բառերի հաջորդականություններից:

Abstract

Kertas ini mempersembahkan sistem identifikasi bahasa yang direncanakan untuk mendeteksi bahasa setiap kata, dalam konteks, dalam dokumen berbagai bahasa seperti yang dihasilkan dalam media sosial oleh komunitas dua bahasa/berbagai bahasa, dalam kasus kita pembicara bahasa Arab Alzheimer. Kami membentuk tugas sebagai masalah pengukuran urutan dan menggunakan belajar mesin yang diawasi dengan metode standar seperti pengukuran HMM dan Ngram. Kami juga eksperimen dengan metode berdasarkan leksikon. Combining all the methods in a fall-back mechanism and introducing some linguistic rules, to deal with unseen tokens and ambiguous words, gives an overall accuracy of 93.14%. Akhirnya, kami memperkenalkan aturan untuk identifikasi bahasa dari urutan kata yang dikenal.

Abstract

Questo articolo presenta un sistema di identificazione linguistica progettato per rilevare la lingua di ogni parola, nel suo contesto, in un documento multilingue generato nei social media da comunità bilingue/multilingue, nel nostro caso parlanti di arabo algerino. Incorniciamo il compito come un problema di sequenziamento tagging e utilizziamo l'apprendimento automatico supervisionato con metodi standard come HMM e Ngram classificazione tagging. Sperimentiamo anche un metodo basato sul lessico. Combinare tutti i metodi in un meccanismo di ripiego e introdurre alcune regole linguistiche, per affrontare token invisibili e parole ambigue, dà una precisione complessiva del 93,14%. Infine, abbiamo introdotto regole per l'identificazione linguistica da sequenze di parole riconosciute.

Abstract

本稿では、バイリンガル/マルチリンガルコミュニティによってソーシャルメディアで生成された多言語文書の中で、アルジェリアアラビア語話者の場合に、その文脈において各単語の言語を検出するように設計された言語識別システムを紹介する。私たちは、シーケンスタグ付けの問題としてタスクをフレーム化し、HMMやNgram分類タグ付けのような標準的な方法で監視された機械学習を使用します。また、レキシコンベースの方法を実験しています。すべての方法をフォールバックメカニズムで組み合わせ、見えないトークンや曖昧な単語に対処するためにいくつかの言語ルールを導入すると、全体的な精度は93.14 ％になります。最後に、認識された単語の配列から言語を識別するためのルールを紹介しました。

Abstract

Perintah iki nambah sistem sampeyan kanggo nggawe nggambar luwih saben kelas, ning sakjane sampeyan, karo dokumen akeh bantuan ingkang dipunasaben ing media sotiné karo komunitas biasa langkung/multilengkang, ning awak dhéwé sakjane sampeyan Algeré. Next > Awakdhéwé énpemberen karo sistem sing basan luwih Iyo ngregani nduwé cara-cara sistem sing gak perusahaan karo pak-pak karo nganggo perusahaan liyanik, nggawe ngupakan karo token sing gak perusahaan lan kelangan sing beraksi, mengko awak dhéwé, suweke nggawe barang sampek kang 3.14%. Ero, awak dhéwé éntukno hukum kanggo kelas nggunakake tarjamahan kanggo sekondi pawar sing ngejaraké.

Abstract

ეს დოკუმენტი აჩვენებს ენის ინდენტიფიკაციის სისტემა, რომელიც ყოველ სიტყვის სიტყვის, მისი კონტექსტში, მრავალენგური დოკუმენტებში, როგორც სოციალური მედიაში შექმნა ორიენგური/მრავალ ჩვენ დავაკეთებთ საქაღალდეს როგორც სექსეციის მაგრამის პრობლემა და გამოყენებთ სექსეციის მასწავლების სტანდარტული მეტისებით, როგორც HMM და Ngram კლასიფი ჩვენ ასევე ექსპერიმენტირებით ლექსიკონის დაბათებული მეტისთვის. ჩვენ ყველა მეტისების შებრუნება მაქანიზმისთვის და რამდენიმე ენგურიზმისტიკური წესების შესაძლებლობა, რომლებიც არაჩვენებული სიტყვებით და არაჩვენებული სიტყვებით, 93.14%-ის უმრა საბოლოოდ, ჩვენ განვითარებული სიტყვების განსაზღვრებისთვის წესები დავიყენეთ.

Abstract

Бұл қағаз әрбір сөздің тілін анықтау үшін, әрбір сөздің тілін, оның контекстесінде, әлемдік тілдер мен көптілікті құжаттарда, әлемдік медиақтарда екі тіл/ көптілік тілдер қоғамдарынан құрылған, Алжир Біз тапсырманы таңдау мәселесі ретінде белгілеу мәселесі ретінде қолданып, HMM және Ngram классификациясының тегтері сияқты стандартты әдістерімен бақылау механизмін қо Біз де лексиканың негіздеген әдісімен тәжірибелеміз. Бүкіл әдістерді қалдыру механизмінде біріктіру және бірнеше лингвистикалық ережелерді келтіру үшін көрінбеген белгілер мен ақиқатты сөздермен біріктіру үшін 93,14% деген дұрыс береді. Соңында біз танылған сөздердің тіл идентификациясының ережелерін келтірдік.

Abstract

본고는 이중 언어/다중 언어 커뮤니티가 소셜 미디어에서 생성한 다중 언어 문서에서 단어마다 상하문에 있는 언어를 검출하기 위한 언어 식별 시스템을 소개한다.이 작업을 시퀀스 태그 문제로 정의하고 HMM 및 Ngram 분류 태그와 같은 기계 학습을 감독하는 표준 방법을 사용합니다.우리는 또 사전에 기초한 방법을 시도했다.모든 방법을 하나의 반환 메커니즘에 결합시키고 일부 언어 규칙을 도입하여 보이지 않는 표기와 잘못된 뜻을 처리하는 데 전체적인 정확도는 93.14% 이다.마지막으로 우리는 식별된 단어 서열에서 언어를 식별하는 규칙을 소개했다.

Abstract

Šiame dokumente pateikiama kalbos identifikavimo sistema, kuria siekiama nustatyti kiekvieno žodžio kalbą savo kontekste daugiakalbėse dokumentuose, kuriuos parengė dvikalbės ir (arba) daugiakalbės bendruomenės, mūsų atveju Alžyro arabų kalbėtojai. Nustatome užduotį kaip sekos žymėjimo problem ą ir naudojame prižiūrimą mašinų mokymąsi standartiniais metodais, pavyzdžiui, HMM ir Ngram klasifikavimo žymėjimu. Taip pat eksperimentuojame su leksikonu pagrįstu metodu. Visų metodų derinimas atsisakymo mechanizme ir tam tikrų kalbinių taisyklių nustatymas, siekiant spręsti nematomus ženklus ir dviprasmiškus žodžius, iš viso sudaro 93,14 proc. tikslumą. Galiausiai nustatėme kalbos identifikavimo taisykles iš pripažintų žodžių sekų.

Abstract

Овој весник претставува систем за идентификација на јазикот дизајниран за детектирање на јазикот на секој збор, во неговиот контекст, во мултијазични документи како што се генерираат во социјалните медиуми од двојјазични/мултијазични заедници, во нашиот случај говорниците Ја наместивме задачата како проблем со одбележување на секвенца и користиме надгледувано машинско учење со стандардни методи како што се одбележување на класификацијата HMM и Ngram. Исто така експериментираме со метод базиран на лексикони. Комбинирајќи ги сите методи во механизмот за повлекување и воведувајќи некои јазички правила, за да се справат со невидени знаци и двогумни зборови, дава вкупна точност од 93,14 отсто. Конечно, воведовме правила за идентификација на јазикот од секвенции на признаени зборови.

Abstract

ഈ പത്രത്തില്‍ ഓരോ വാക്കിന്റെയും ഭാഷ കണ്ടുപിടിക്കാനുള്ള ഭാഷ തിരിച്ചറിയാനുള്ള ഒരു ഭാഷ സിസ്റ്റം നിര്‍ണ്ണയിക്കുന്നു. അതിന്റെ സംസ്ഥിതിയില്‍, സാമ നമ്മള്‍ ജോലിയെ സെക്കന്‍സെക്കന്‍സ് ടാഗ്ഗിങ്ങ് പ്രശ്നമാക്കുന്നു. സാധാരണ മെഷീന്‍ പഠിക്കുന്നത് ഉപയോഗിക്കുന്നു. എംഎം എ ഒരു ലെക്സിക്കോണ്‍ അടിസ്ഥാനമായ രീതിയില്‍ നാം പരീക്ഷിക്കുന്നു. ഒരു വീഴുന്ന മെനിസ്റ്റമില്‍ എല്ലാ രീതികളും കൂട്ടിച്ചേര്‍ക്കുന്നു. കുറച്ച് ഭാഷക്കാരുടെ നിയമങ്ങള്‍ പരിചയപ്പെടുത്തുന്നു. അദൃശ്യസൂചനങ അവസാനം, ഭാഷ തിരിച്ചറിയാനുള്ള നിയമങ്ങള്‍ ഞങ്ങള്‍ പരിചയപ്പെടുത്തി.

Abstract

Энэ цаас хэлний тодорхойлолтын системийг харуулдаг. Алжир Арабын хэлний ярьцлагуудын тухай, нийгмийн хэлний мэдээллээр бий болсон олон хэлний хэлний хэлний тодорхойлолтын баримтууд. Бид ажлыг дарааллаар тагтаж буй асуудал болгон, HMM болон Ngram хуваалтын тагтаж буй стандарт аргыг ашигладаг. Бид мөн лексикон суурилсан аргыг туршиж үзсэн. Бүх арга замыг буцаж буй механизмийн холбоотой, зарим хэлний дүрмийг тайлбарлаж, харагдаагүй тэмдэгт болон хэмжээний үгсийг тохируулахын тулд нийтэд 93.14% тохируулдаг. Эцэст нь бид хэлний тодорхойлолтын дүрмийг танилцуулсан үгсийн дарааллаас гаргасан.

Abstract

Kertas ini memperkenalkan sistem pengenalan bahasa yang direka untuk mengesan bahasa setiap perkataan, dalam konteks, dalam dokumen berbilang bahasa yang dijana dalam media sosial oleh komuniti berbilang bahasa/berbilang bahasa, dalam kes kami pembicara bahasa Arab Algeria. Kami bingkai tugas sebagai masalah penggunaan jajaran dan menggunakan pembelajaran mesin yang diawasi dengan kaedah piawai seperti penggunaan penggunaan HMM dan Ngram. Kami juga eksperimen dengan kaedah berdasarkan leksikon. Menggabungkan semua kaedah dalam mekanisme mundur dan memperkenalkan beberapa peraturan bahasa, untuk menghadapi token yang tidak terlihat dan kata-kata yang ambiguh, memberikan keseluruhan ketepatan 93.14%. Finally, we introduced rules for language identification from sequences of recognised words.

Abstract

Dan id-dokument jippreżenta sistema ta’ identifikazzjoni tal-lingwi mfassla biex tinstab il-lingwa ta’ kull kelma, fil-kuntest tagħha, f’dokumenti multilingwi kif iġġenerati fil-midja soċjali minn komunitajiet bilingwi/multilingwi, fil-każ tagħna li jitkellmu bl-Għarab Alġerjan. We frame the task as a sequence tagging problem and use supervised machine learning with standard methods like HMM and Ngram classification tagging. Nisperimentaw ukoll b’metodu bbażat fuq il-lexicon. Il-kombinazzjoni tal-metodi kollha f’mekkaniżmu ta’ waqfien lura u l-introduzzjoni ta’ xi regoli lingwistiċi, biex jiġu ttrattati t-tokens mhux osservati u l-kliem ambigwu, tagħti preċiżjoni globali ta’ 93,14 %. Fl-aħħar nett, introduċejna regoli għall-identifikazzjoni tal-lingwa minn sekwenzi ta’ kliem rikonoxxut.

Abstract

Dit artikel presenteert een taalidentificatiesysteem dat ontworpen is om de taal van elk woord, in zijn context, te detecteren in meertalige documenten zoals gegenereerd in sociale media door tweetalige/meertalige gemeenschappen, in ons geval sprekers van Algerijns Arabisch. We kaderen de taak in als een sequentie tagging probleem en gebruiken supervised machine learning met standaard methoden zoals HMM en Ngram classificatie tagging. We experimenteren ook met een lexicon-gebaseerde methode. Het combineren van alle methoden in een terugslagmechanisme en het invoeren van enkele taalregels, om te gaan met onzichtbare tokens en dubbelzinnige woorden, geeft een algehele nauwkeurigheid van 93,14%. Tot slot introduceerden we regels voor taalidentificatie uit reeksen herkende woorden.

Abstract

Denne papiret viser eit språk-identifikasjonssystem designert for å oppdaga språket på kvar ord, i konteksten sin, i eit fleirspråk dokument som lagar i sosiale media av bilinguelt/fleirspråk-samfunn, i tilfelle våre taljar av algerisk arabisk. Vi rammer oppgåva som eit problem med merking av rekkjefølgjer og bruk overvakt maskinelæring med standardmetodar som HMM og Ngram- klassifikasjon. Vi eksperimenterer også med ein leksikonsbasert metode. Kombinerer alle metodane i ein tilbake-mekanisme og introduserer nokre lingviske reglar for å handsama med ukjende teikn og avgjengelege ord, gir heile nøyaktighet 93,14 %. I slutt introdusere vi reglar for språk-identifikasjon frå rekkjefølgja av gjenkjente ord.

Abstract

W niniejszym artykule przedstawiono system identyfikacji języków zaprojektowany do wykrywania języka każdego słowa, w jego kontekście, w wielojęzycznych dokumentach generowanych w mediach społecznościowych przez społeczności dwujęzyczne/wielojęzyczne, w naszym przypadku mówców arabskiego algierskiego. Zadanie opracowujemy jako problem tagowania sekwencji i wykorzystujemy nadzorowane uczenie maszynowe przy użyciu standardowych metod takich jak tagowanie klasyfikacji HMM i Ngram. Eksperymentujemy również z metodą opartą na leksykonie. Połączenie wszystkich metod w mechanizmie awaryjnym i wprowadzenie pewnych reguł językowych, aby poradzić sobie z niewidzialnymi tokenami i niejednoznacznymi słowami, daje ogólną dokładność 93,14%. Wreszcie wprowadziliśmy zasady identyfikacji języka z sekwencji rozpoznawanych słów.

Abstract

Este artigo apresenta um sistema de identificação de idioma projetado para detectar o idioma de cada palavra, em seu contexto, em documentos multilíngues gerados nas mídias sociais por comunidades bilíngues/multilíngues, no nosso caso, falantes do árabe argelino. Nós enquadramos a tarefa como um problema de marcação de sequência e usamos aprendizado de máquina supervisionado com métodos padrão como marcação de classificação HMM e Ngram. Também experimentamos um método baseado em léxico. Combinando todos os métodos em um mecanismo de fallback e introduzindo algumas regras linguísticas, para lidar com tokens não vistos e palavras ambíguas, obtém-se uma precisão geral de 93,14%. Por fim, introduzimos regras para identificação de linguagem a partir de sequências de palavras reconhecidas.

Abstract

Lucrarea prezintă un sistem de identificare a limbii conceput pentru a detecta limba fiecărui cuvânt, în contextul său, într-un document multilingv generat în rețelele sociale de comunități bilingve/multilingve, în cazul nostru vorbitori de arabă algeriană. Încadram sarcina ca o problemă de etichetare a secvențelor și folosim învățarea automată supravegheată cu metode standard precum etichetarea HMM și Ngram clasificări. De asemenea, experimentăm cu o metodă bazată pe lexicon. Combinarea tuturor metodelor într-un mecanism de retragere și introducerea unor reguli lingvistice, pentru a face față jetoanelor nevăzute și cuvintelor ambigue, oferă o acuratețe generală de 93,14%. În cele din urmă, am introdus norme pentru identificarea limbii din secvențe de cuvinte recunoscute.

Abstract

В этой статье представлена система идентификации языка, предназначенная для определения языка каждого слова в его контексте в многоязычных документах, генерируемых в социальных сетях двуязычными/многоязычными сообществами, в нашем случае носителями алжирского арабского языка. Мы формируем задачу как проблему маркировки последовательностей и используем контролируемое машинное обучение со стандартными методами, такими как маркировка ХММ и Ngram. Мы также экспериментируем с методом на основе лексикона. Сочетание всех методов в резервном механизме и введение некоторых лингвистических правил, чтобы справиться с невидимыми токенами и двусмысленными словами, дает общую точность 93,14%. Наконец, мы ввели правила идентификации языка из последовательностей распознаваемых слов.

Abstract

මේ පත්තුවට භාෂාව පරීක්ෂණ පද්ධතියක් පෙන්වනවා හැම වචනයේ භාෂාව හොයාගන්න, එයාගේ සම්බන්ධයෙන්, සාමාජික මාධ්‍යාත්මක වලින් සාමා අපි ක්‍රියාව ප්‍රශ්නයක් වෙනුවෙන් ප්‍රශ්නයක් වෙනුවෙන් ප්‍රශ්නයක් වෙනුවෙන් ප්‍රශ්නයක් වෙනුවෙන් ප්‍රශ අපි ලෙක්සිකෝන් අධාරිත විදියට පරීක්ෂණය කරනවා. සම්පූර්ණ විධානය සම්පූර්ණ විධානයෙන් සම්පූර්ණ විධානය කරන්න සහ භාෂාවික නීතිය සමහර විධානය කරන්න, නොදන්න තොක්කුව අන්තිමේදි, අපි භාෂාව පරික්ෂණය සඳහා නියෝජිත කරලා තියෙන්නේ පුළුවන් වචන වචන වලින්

Abstract

V prispevku je predstavljen sistem identifikacije jezika, ki je namenjen zaznavanju jezika vsake besede v njenem kontekstu v večjezičnih dokumentih, ki jih v družbenih omrežjih ustvarijo dvojezične/večjezične skupnosti, v našem primeru govorniki alžirske arabščine. Opravilo oblikujemo kot težavo z označevanjem zaporedja in uporabljamo nadzorovano strojno učenje s standardnimi metodami, kot sta označevanje klasifikacije HMM in Ngram. Prav tako eksperimentiramo z metodo, ki temelji na leksikonu. Združevanje vseh metod v rezervnem mehanizmu in uvedba nekaterih jezikovnih pravil za obravnavanje nevidnih žetonov in dvoumnih besed daje skupno natančnost 93,14%. Na koncu smo uvedli pravila za identifikacijo jezika iz zaporedja prepoznanih besed.

Abstract

Warqaddan waxaa soo saara nidaam aqoonsiga luqada ah oo lagu qoray inuu aqoonsado luqad kasta, taas oo ku qoran warqado luuqadeed oo kala duduwan oo lagu soo dhashay macluumaadka bulshada, kuwaas oo ku qoran hadalka afka Algeria ah. Waxaynu shaqada u sameynaa dhibaatada tagsiga dabadeed waxaana lagu isticmaalaa mashiinka la ilaaliyey barashada qaababka caadiga ah, sida qoraalka fasaxda ee HMM iyo Ngram. Sidoo kale waxaynu ku jirrabnaa qaab ku saleysan leksis. U soo qabsashada qaababka oo dhan oo ku qoran meyminimo dib u dhaca iyo soo bandhigyada qaynuunno luuqada ah, si ay ula macaamiloodaan calaamado qarsoon iyo hadallo qalloocan ah, wuxuu siiyaa sax kamid ah 93.14%. Ugu dambaysta waxaan ka soo bandhignay sharciyada aqoonsiga luqada ee hadalka la aqoonsaday.

Abstract

Kjo letër paraqet një sistem identifikimi gjuhësh të dizajnuar për të zbuluar gjuhën e çdo fjale, në kontekstin e saj, në dokumente shumëgjuhëse siç gjenerohen në mediat sociale nga komunitetet dygjuhëse/shumëgjuhëse, në rastin tonë që flasin arabisht algjerian. Ne e kuadrojmë detyrën si një problem shekuese të etiketave dhe përdorim mësimin e mbikqyrur të makinave me metoda standarde si etiketat HMM dhe Ngram. Ne gjithashtu eksperimentojmë me një metodë bazuar në leksikon. Combining all the methods in a fall-back mechanism and introducing some linguistic rules, to deal with unseen tokens and ambiguous words, gives an overall accuracy of 93.14%. Më në fund, futëm rregulla për identifikimin e gjuhës nga sekuencat e fjalëve të njohura.

Abstract

Ovaj papir predstavlja sistem identifikacije jezika koji je dizajniran da otkrije jezik svake reči, u svom kontekstu, u multijezičkim dokumentima koji su proizvedeni u društvenim medijima od strane dvojezičkih/multijezičkih zajednica, u našem slučaju govornika Alžirskog arapskog jezika. Smatramo zadatak kao problem označavanja sekvence i koristimo nadgledano učenje mašine sa standardnim metodama poput HMM i Ngram klasifikacije. Takoðe eksperimentiramo sa metodom na leksikonu. Kombinacija svih metoda u mehanizmu odbijanja i uvođenja nekih jezičkih pravila, kako bi se suočila sa nevidljivim znakovima i ambigućim riječima, daje ukupnu tačnost od 93,14%. Konačno smo uveli pravila za identifikaciju jezika iz sekvencija priznanih reči.

Abstract

Denna uppsats presenterar ett språkidentifieringssystem utformat för att upptäcka språket i varje ord, i dess sammanhang, i ett flerspråkigt dokument som genereras i sociala medier av tvåspråkiga/flerspråkiga samhällen, i vårt fall talare av algeriska arabiska. Vi ramar in uppgiften som ett sekvenstaggningsproblem och använder övervakad maskininlärning med standardmetoder som HMM- och Ngram-klassificering. Vi experimenterar också med en lexikonbaserad metod. Att kombinera alla metoder i en fallmekanism och införa några språkliga regler för att hantera osynliga tecken och tvetydiga ord ger en total noggrannhet på 93,14%. Slutligen införde vi regler för språkidentifiering utifrån sekvenser av erkända ord.

Abstract

Makala hii inaonyesha mfumo wa utambulisho wa lugha inayolengwa kugundua lugha ya kila neno, katika muktadha wake, katika nyaraka za lugha mbalimbali kama ilivyotengenezwa kwenye mitandao ya kijamii na jamii za lugha mbili na lugha nyingine, katika kesi yetu wazungumzaji wa Kiarabu. Tunaweza kufanya kazi kama tatizo la kuchagua mfululizo na kutumia mashine inayofuatiliwa kujifunza kwa njia za kawaida kama vile alama ya usambazaji wa HMM na Ngram. Tunajaribu pia kwa njia yenye msingi wa lexico. Kuunganisha mbinu zote katika mfumo wa kuanguka nyuma na kutengeneza sheria za lugha, kupambana na ishara zisizo za siri na maneno yasiyoeleweka, inatoa uhakika wa asilimia 93.14. Mwisho, tulianzisha sheria za kutambua lugha kutoka mfululizo wa maneno yanayotambuliwa.

Abstract

இந்த தாள் ஒவ்வொரு வார்த்தையும் கண்டுபிடிக்க வடிவமைக்கப்பட்ட மொழி அடையாளம் அமைப்பை குறிப்பிடுகிறது, அதன் சூழலில், பல மொழி ஆவணங்களில், இரு மொழி/பல மொழி சமூ நாம் பணியை பின்வரிசையில் ஒட்டுதல் பிரச்சனையாக வடிவமைத்து HMM மற்றும் Ngram வகைப்பு ஒட்டுதல் போன்ற நிலைமையான முறைகளுடன் கண நாம் ஒரு லெக்சிக்சியன் அடிப்படையான முறையைக் கொண்டு சோதனைப்படுத்துகிறோம். விழுங்கு முறைமையில் அனைத்து முறைகளையும் ஒன்று சேர்த்து மற்றும் சில மொழிய விதிகளைக் குறிப்பிடு, மறைக்கப்படாத குறியீடுகளையும் மற்ற இறுதியில், நாம் மொழி அடையாளத்திற்கான விதிகளை அறியப்பட்ட வார்த்தைகளில் இருந்து குறிப்பிட்டு

Abstract

Bu kagyz her sözüň dilini, öz kontekstynda, bilim/multi dil jemgyýetleri tarapyndan sosyal medýäniň içinde döredilen bir dil tanyşdyrma sistemasyny görkezýär. Biz görevini bir dizi etiketleme problemi olarak çevirip, HMM ve Ngram klasifikasyonu gibi gözetlenmiş makine öğrenmesini kullanırız. Biz leksikon daýanýan yöntemi bilen test edip barýarys. Iň gaýd etmek mekanizmasynda ähli metodlary birleşdirmek we käbir lingwistiki kurallary daşary etmek üçin görnüşmez işaretler we wajyp sözler bilen çykmak üçin, 93.14%-iň bütin dogrylygyny berir. Iň soňra taniş sözlerin dizilerinden dil tanyşlygyny üçin kurallar girdirdik.

Abstract

یہ کاغذ ایک زبان شناسایی سیسٹم کو پیش کرتا ہے جو ہر کلمز کی زبان، اس کے متصلہ میں، ایک بہت سی زبان کی سند میں، جس طرح سوسیل میڈیا میں دو زبان/بہت سی زبان کی کمونٹیوں کے ذریعے پیدا کیا گیا ہے، ہمارے کام میں آلجرین عربی زبان ہم دنیا کو ایک سطح ٹاگنگ مسئلہ کے طور پر فرم کر رہے ہیں اور ان کی استاندارڈ طریقے سے استعمال کررہے ہیں جیسے HMM اور Ngram کلاسی ٹاگنگ کے ساتھ. ہم بھی ایک لکسیکن بنیادی طریقہ سے تجربہ کریں گے۔ تمام طریقوں کو ایک فائدہ واپس کی مکانیسم میں جمع کرنا اور کچھ زبان کی قوانین کو معلوم کرنا، غیب کی نشانیاں اور غیب کی باتوں کے ساتھ معلوم کرنے کے لئے، 93.14% کی جگہ دقیق ہے. آخر میں ہم نے زبان کی شناسایی کے لئے قوانین کو پہچان لیا تھا۔

Abstract

Bu hujjat har bir so'z tilni aniqlash uchun tilni aniqlash tizimini koʻrsatiladi. Bu tilda bir so'zni o'rganish uchun, bulshadan jamiyatlarning ikkita tillar/multili jamiyatlar yordamida yaratilgan bir necha hujjatlarda, bizning tilida Algeriya arab tilida gapiruvchilar. Biz vazifani bir nechta tagning muammosi sifatida qo'yish va HMM va Ngram darajalashtirish usullari bilan taʼminlovchi mashinalardan foydalanamiz. Biz leksik asosiy usuli bilan tizimiz. Name Endi, biz tilning identifikasining qoidalarini tasdiqlangan so'zlardan ko'p so'zlar bilan ishlatishni anglatdik.

Abstract

Tờ giấy này cung cấp một hệ thống nhận dạng ngôn ngữ được thiết kế để phát hiện ngôn ngữ của mỗi từ, trong ngữ cảnh của nó, trong một tài liệu đa dạng được tạo ra trên các phương tiện xã hội từ các cộng đồng hai-đa-ngôn ngữ, trong trường hợp của chúng tôi là người nói tiếng Ả Rập Algerian. Chúng tôi mô tả nhiệm vụ này như một vấn đề hiệu số và sử dụng việc học thiết bị giám sát với các phương pháp tiêu chuẩn như hiệu hoá HM và Ngoram. Chúng tôi cũng thử nghiệm với phương pháp ngôn ngữ. Kết hợp tất cả các phương pháp trong một cơ chế sụp đổ và áp dụng một số quy tắc ngôn ngữ, để xử lý những hiệu vô hình và những từ mơ hồ, cho thấy độ chính xác trong tập hợp 994. Cuối cùng, chúng tôi đã tạo ra quy tắc nhận dạng ngôn ngữ từ ngữ.

Abstract

本文发一语识别系统,指在检测双语/多语言社区在社交媒体上生多语言文档中每单词语言,在我等例中是阿尔及利亚阿拉伯语。以事为序,以监督式机器学与HMM、Ngram类合而用之。尝试词典法。合回退机中诸法,引入言语规矩,以处不见之标,模棱之单词,总体准确率为93.14%。最后,我们从识单词序中引入了语言识别。

Anthology ID:: W17-1301
Volume:: Proceedings of the Third Arabic Natural Language Processing Workshop
Month:: April
Year:: 2017
Address:: Valencia, Spain
Venues:: WANLP | WS
SIG:: SEMITIC
Publisher:: Association for Computational Linguistics
Note:
Pages:: 1–8
Language:
URL:: https://aclanthology.org/W17-1301
DOI:: 10.18653/v1/W17-1301
Bibkey:
Cite (ACL):: Wafia Adouane and Simon Dobnik. 2017. Identification of Languages in Algerian Arabic Multilingual DocumentsAlgerian Arabic Multilingual Documents. In Proceedings of the Third Arabic Natural Language Processing Workshop, pages 1–8, Valencia, Spain. Association for Computational Linguistics.
Cite (Informal):: Identification of Languages in Algerian Arabic Multilingual DocumentsAlgerian Arabic Multilingual Documents (Adouane & Dobnik, 2017)
Copy Citation:
PDF:: https://aclanthology.org/W17-1301.pdf
Terminologies:

PDF Cite Search Translate