L'Enciclopèdia, la wikipedia en valencià

Processament de llenguages naturals

El processament de(l) llenguage natural o de llengua(je)s naturals,[1][2] abreviat PLN[3][4] (o NLP per les seues sigles en anglés), és un camp de les ciències de la computació, de l'inteligència artificial i de la llingüística que estudia les interaccions entre les computadores i el llenguage humà, aixina com els detalls computacionals de les llengües naturals. S'ocupa de la formulació i investigació de mecanismes eficaços computacionalment per a la comunicació entre persones i màquines per mig del llenguage natural, és dir, de les llengües del món. No tracta de la comunicació per mig de llengües naturals d'una forma abstracta, sino de dissenyar mecanismes per a comunicar-se que siguen eficaços computacionalment —que es puguen realisar per mig de programes que eixecuten o simulen la comunicació—. Els models aplicats s'enfoquen no solament a la comprensió del llenguage de per sí, sino a aspectes generals cognitius humans i a l'organisació de la memòria. El llenguage natural servix solament de mig per a estudiar estos fenomens. Fins a la década de 1980, la majoria dels sistemes de PLN es basaven en un complex conjunt de regles dissenyades a mà. A partir de finals de 1980, no obstant, va haver una revolució en PLN en l'introducció d'algoritmes d'aprenentage automàtic per al processament del llenguage.[5][6] El PLN és el que s'encarrega de que els equips de còmput puguen comunicar-se en els humans utilisant l'inteligència artificial i els models d'aprenentage ML.

Història

L'història del PLN escomença des de 1950, encara que s'han trobat treballs anteriors. En 1950, Alan Turing va publicar Computing machinery and intelligence, a on proponia lo que hui es diu el test de Turing com criteri qualitatiu d'inteligència superior. En 1954, l'experiment de Georgetown va involucrar traducció automàtica de més de xixanta oracions del rus al anglés. Els autors varen sostindre que en tres o cinc anys la traducció automàtica seria un problema resolt. L'alvanç real en traducció automàtica va ser més llent, i en 1966 el reporte ALPAC va demostrar que l'investigació havia tingut un baix eixercite. Més vesprada, fins a finals de 1980, es varen portar a terme investigacions a menor escala en traducció automàtica, i es varen desenrollar els primers sistemes de traducció automàtica estadística. Açò es va deure tant a l'aument constant del poder de còmput resultant de la llei de Moore com a la disminució gradual del predomini de les teories llingüístiques de Noam Chomsky (per eixemple, la gramàtica transformacional), els fonaments teòrics de la qual desalentaron el tipo de llingüística de corpus, que es basa en l'enfocament d'aprenentage de màquines per al processament del llenguage. Es varen usar llavors els primers algoritmes d'aprenentage automàtic, com els arbres de decisió, sistemes produïts de sentències si-llavors similars a les regles escrites a mà. Es pot consultar un resum de l'història de 50 anys de publicacions sobre el processament automàtic despuix del proyecte NLP4NLP en una publicació doble en Frontiers in Research Metrics and Analytics.[7][8]

Entre finals dels anys 1970 i 1985, els models de traducció més eficients,com Systran es varen basar en traducció basada en regles i atres enfocaments similars. Cap a principis d'el XXI es va vore que estos sistemes no eren els més eficients, durant els anys 2010, la major part de sistemes de traducció automàtica que proporcionaven resultats d'alta calitat es basaven en método d'inteligència artificial, en especial, les rets neuronals artificials i aprenentage profunt. A partir de 2020, la major part de productes comercials i traductors web ya basaven en dites tecnologies. Més vesprada els models de llenguage colossals (LLM) com ChatGPT i Google Bard també es varen basar en este tipo de tecnologies, i encara que eren més generals que un sistema de traducció automàtic també eren molt eficients en traducció automàtica.

Dificultats en el processament de llenguage natural

Ambigüitat

Les llengües naturals són inherentemente ambigües en diferents nivells:

  • En el nivell lèxic, una mateixa paraula pot tindre varis significats, i la selecció de l'apropiat es deu deduir a partir del context oracional o coneiximent bàsic. Moltes investigacions en el camp del processament de llenguages naturals han estudiat métodos de resoldre les ambigüitats lèxiques per mig de diccionaris, gramàtiques, bases de coneiximent i correlació estadístiques.
  • A nivell referencial, la resolució d'anáforas i catáforas implica determinar l'entitat llingüística prèvia o posterior a que fan referència.
  • En el nivell estructural, es requerix de la semàntica para desambiguar la dependència dels sintagma preposicionals que conduïxen a la construcció de distints arbres sintàctics. Per eixemple, en la frase Va trencar el dibuix d'un atac de nervis.
  • En el nivell pragmàtic, una oració, a sovint, no significa lo que realment s'està dient. Elements tals com l'ironia tenen un paper important en l'interpretació del mensage.

Per a resoldre estos tipos d'ambigüitats i uns atres, el problema central en el PLN és la traducció d'entrades en llengües naturals a una representació interna sense ambigüitat, com arbres d'anàlisis.

Detecció de separació entre les paraules

En la llengua parlada no se solen fer pauses entre paraula i paraula. El lloc en el que es deuen separar les paraules a sovint depén de quin és la possibilitat de que mantinga un sentit llògic tant gramatical com a contextual. En la llengua escrita, llengües com el chinenc mandarín tampoc tenen separacions entre les paraules.

Recepció imperfecta de senyes

Accents estrangers, regionalisme o dificultats en la producció del parla, errors de mecanografiado o expressions no gramaticals, errors en la llectura de texts per mig d'OCR.

Components

  • Anàlisis morfològic. L'anàlisis de les paraules per a extraure raïls, traces flexivos, unitats lèxiques compostes i atres fenomens.
  • Anàlisis sintàctic. L'anàlisis de l'estructura sintàctica de la frase per mig d'una gramàtica de la llengua en qüestió.
  • Anàlisis semàntic. L'extracció del significat de la frase, i la resolució d'ambigüitats lèxiques i estructurals.
  • Anàlisis pragmàtic. L'anàlisis del text més allà dels llímits de la frase, per eixemple, per a determinar els antecedents referencials dels pronoms.
  • Planificació de la frase. Estructurar cada frase del text en la finalitat d'expressar el significat adequat.
  • Generació de la frase. La generació de la cadena llineal de paraules a partir de l'estructura general de la frase, en els seus corresponents flexiones, concordancias i restants fenomens sintàctics i morfològics.

Realitat actual de la disciplina

  1. Arquitectura neuronals modernes i representació del llenguage: L'evolució des dels embeddings estàtics (Word2vec, GloVe) fins als models contextuals basats en l'arquitectura Transformer i els seus mecanismes d'atenció. Existixen llínees d'investigació que busquen superar les llimitacions dels perceptrones multicapa (MLP) tradicionals, com les Rets de Kolmogorov-Arnold (KANs).
  2. Explicabilidad (XAI) i models de caixa de cristal (Glass-Box): Els sistemes de PLN no deuen ser caixes negres que reben senyes i tornen respostes, ometent per complet el debat sobre l'IA explicable. En l'implementació de models en entorns d'alta exigència, la capacitat d'auditar i certificar les decisions del model és un requisit indispensable.
  1. IA agéntica i ecosistemes complexos: L'estat actual del PLN ha transcendit la mera generació de text i els models actuen ara com a motors de raonament autònom. Açò inclou l'interacció en ferramentes externes, la Generació aumentada per recuperació (RAG) recolzada en bases de senyes vectorials, aixina com, els reptes de seguritat i privacitat en infraestructures corporatives.
  2. Paradigmes d'entrenament: El cicle de vida d'un model modern diferència entre el preentrenamiento autosupervisado i l'ajust fi (fine-tuning). Existixen metodologia clau per a l'alliniació del comportament, com el RLHF, i les capacitats de generalisació en règims de few-shot i zero-shot learning.
  1. Mètriques d'evaluació i benchmarks: Des del punt de vista del rigor científic, falta explicar cóm es medix l'èxit en mètriques d'evaluació estàndar (com BLEU, ROUGE, METEOR o Perplexitat), i els conjunts de senyes de referència (GLUE, SuperGLUE) que guien el progrés investigador a nivell global.

Processament del llenguage natural i Comprensió del llenguage natural

Erro al crear miniatura:
Processament del llenguage natural i Comprensió del llenguage natural

És possible identificar dins del PLN un subcampo especialisat en les relacions semàntiques i pragmàtiques, denominat Comprensió del llenguage natural (CLN, en anglés Natural Language Understanding - NLU). La CLN agruparia, llavors, les àrees d'resum automàtic, paráfrasis, anàlisis de sentiments i busca de respostes. D'esta, la principal aplicació serien els chatbot o bot conversacionals. [9]

Aplicacions

Les principals tasques de treball en el PLN són:

Vore també

Referències

  1. ↑ «Processament de llenguage natural».Revista d'investigació de Sistemes i Informàtica.6(2)
    45–54.ISSN 1816-3823.Consultat el 2021-02-07.
  2. ↑ «Aplicacions de Processament de Llenguage Natural».Revista Politècnica.32ISSN 2477-8990.Consultat el 2021-02-07.
  3. ↑ «Inter-Active Terminology for Europe».
  4. ↑ ««PLN», millor que «NLP», sigla de «processament del llenguage natural»» (en és). www. fundeu. es. Consultat el 10 de juliol de 2019.
  5. ↑ (2015) Pla d'impuls de Tecnologies del Llenguage / Pla for the Advancement of Language Technology (en en).
  6. ↑ Cervantes (2015-10-20). Presentació del «Pla d'Impuls de les Tecnologies del Llenguage». OCLC 1164865977.
  7. ↑ (2019).«The NLP4NLP Corpus (I): 50 Years of Publication Collaboration and Citation in Speech and Language Processing».Frontiers in Research Metrics and Analytics.
  8. ↑ (2019).«The NLP4NLP Corpus (I): 50 Years of Research in Speech and Language Processing».Frontiers in Research Metrics and Analytics.
  9. ↑ Mattingly, William. «Natural Language Processing with spaCy & Python - Course for Beginners».

Bibliografia

Enllaços externs

Obtingut de «https://lenciclopedia.org/w/index.php?title=Processament_de_llenguages_naturals&oldid=1420862»