Model extens de llenguage

Un model extens de llenguage o LLM (sigles en anglés per a Large Language Model), també cridat model de llenguage de gran tamany o model de llenguage a gran escala, és un modele de llenguage d'aprenentage profunt, que consta d'una ret neuronal en molts paràmetros (normalment mils de millons o més), entrenats en grans cantitats de text sense etiquetar per mig d'aprenentage autosupervisado o aprenentage semisupervisado. Els LLMs varen sorgir al voltant de 2018 en el primer model GPT-1, encara que va anar el seu successor, GPT-2, el que va obtindre una atenció més generalisada. Açò ha canviat l'enfocament de l'investigació del processament del llenguage natural alluntant-se del paradigma anterior d'entrenar models supervisats especialisats per a tasques específiques.

Alguns LLMs notables són la série de models GPT d'OpenAI (per eixemple, GPT-4 i GPT-5 , utilisats en ChatGPT i Microsoft Copilot), PaLM i Gemini de Google (l'últim dels quals s'utilisa actualment en el chatbot del mateix nom), o Claude d'Anthropic, entre uns atres.

Encara que el terme modele gran de llenguage no té una definició formal, a sovint es referix a models d'aprenentage profunt que tenen un reconte de paràmetros de l'orde de mils de millons o més. Els LLMs són models de propòsit general que es destaquen en una àmplia gama de tasques, en lloc d'estar capacitats per a una tasca específica (com l'anàlisis de sentiments, el reconeiximent d'entitats nomenades o el raonament matemàtic). L'habilitat en la que realisen les tasques i la gama de tasques de les que són capaces sembla ser una funció de la cantitat de recursos (senyes, número de paràmetros, capacitat de càlcul) que se'ls dediquen, d'una manera que no depén sobre alvanços adicionals en el disseny.

Encara que entrenats en tasques simples com predir la següent paraula en una oració, es troben models de llenguage neuronal en suficient entrenament i contaje de paràmetros per a capturar gran part de la sintaxis i la semàntica del llenguage humà. Ademés, els models de llenguage gran demostren un coneiximent general considerable sobre el món i són capaços de "memorisar" una gran cantitat de fets durant l'entrenament.

Propietats

Conjunts de senyes de pre-entrenament

Els LLMs estan pre-entrenats en grans conjunts de corpus textuals. Alguns conjunts de corpus de text d'us comú són Common Crawl, The Pile, MassiveText, Wikipedia i GitHub. Els conjunts de senyes tenen un tamany de fins a 10 billons de paraules.

L'almagasén de senyes llingüístiques d'alta calitat està dins dels 4,6 a 17 billons de paraules, que està dins d'un orde de magnitut per als conjunts de corpus textuals més grans.

Lleis d'escala

En general, un LLM es pot descriure de manera incompleta en quatre paràmetros:^{cita requerida} tamany del model, tamany del conjunt de senyes d'entrenament, cost de l'entrenament i rendiment despuix de l'entrenament. Cada una d'estes quatre variables es pot definir en precisió per mig d'un número real i, empíricamente, es troba que dits números estan relacionats per lleis estadístiques simples, cridades "lleis d'escala".

Una llei d'escala particular ("escala Chinchilla") para LLM entrenats autorregresivamente per a una época, en un programa de taxa d'aprenentage logarítmic, establix que:

a on les variables són:

$C$ és el cost d'entrenar el model, en FLOPs.

$N$ és el número de paràmetros en el model.

$D$ és el número de tokens / toquemas en el conjunt d'entrenament.

$L$ és la pèrdua promig de provabilitat logarítmica negativa per token / toquema (nats /token), conseguida per el LLM capacitat en el conjunt de senyes de prova.

i els paràmetros estadístics són:

$C_0=6$, lo que significa que costa 6 FLOPS per paràmetro entrenar en un token / toquema. Observe's que el cost de capacitació és molt més alt que el cost d'inferència, a on costera d'1 a 2 FLOPS per paràmetro inferir en un token / toquema.

$\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_0=1.69$.

Habilitats emergents

Archiu:FLOPSemergent benchmarks.png

En una série de punts de referència del llenguage natural que involucren tasques com respondre preguntes, els models no s'eixerciten millor que l'encert fins que alcancen una certa escala (en este cas, mida per còmput d'entrenament), moment en el qual el seu rendiment aumenta considerablement. Estos són eixemples d'habilitats emergents.

Si ben generalment es pot extrapolar el rendiment dels models grans en vàries tasques, en funció del rendiment de models més menuts similars, a voltes els models grans experimenten un "canvi de fase discontinu" en el que el model adquirix sobtadament habilitats substancials que no es veuen en models més menuts. Estes es coneixen com "habilitats emergents" i han segut objecte d'un estudi substancial. Els investigadors senyalen que tals habilitats "no es poden predir simplement extrapolando el rendiment de models més menuts". Estes habilitats es descobrixen en lloc de programar-se o dissenyar-se, en alguns casos sol en acabant de que el LLM s'haja implementat públicament. S'han descrit centenars d'habilitats emergents. Els eixemples inclouen aritmètica de varis passos, aprovar exàmens de nivell universitari, identificar el significat previst d'una paraula, indicacions de cadena de pensaments, decodificar l'Alfabet Fonètic Internacional, dessifrar les lletres d'una paraula, identificar contingut ofensiu en paràgrafs de Hinglish (una combinació de hindi i anglés), i generant un equivalent en anglés similar als proverbis en kiswahili.

Alucinació

Artícul principal → Alucinació (inteligència artificial).

S'ha observat que els LLM generativos realisen en confiança afirmacions de fet que no semblen estar justificades per les seues senyes d'entrenament, un fenomen que s'ha denominat "alucinació".

Arquitectura

Els models de llenguages grans han utilisat en major freqüència l'arquitectura de transformadors, que, des de 2018, s'ha convertit en la tècnica d'aprenentage profunt estàndart per a senyes seqüencials (anteriorment, les arquitectura recurrents com LSTM eren les més comunes).

Tokenización

Formalment, els LLM són funcions matemàtiques l'entrada de les quals i eixida són llestes de números. En conseqüència, les paraules deuen convertir-se en números. En general, un LLM usa un tokenizador separat. Un tokenizador és una funció biyectiva que mapea entre texts i llistes de sancers. El tokenizador generalment s'adapta primer a tot el conjunt de senyes d'entrenament i després es congela ans que s'entrene el LLM. Una opció comuna és la codificació de parells de bytes.

Una atra funció dels tokenizadores és la compressió de text, que aforra còmput. Les paraules o frases comunes com "on està" es poden codificar en un token, en lloc de 10 caràcters. La série OpenAI GPT utilisa un tokenizador a on 1 token s'assigna a al voltant de 4 caràcters, o al voltant de 0,75 paraules, en text comú en anglés. El text en anglés poc comú és menys predible, per lo tant, menys comprimible, per lo que requerix més tokens per a codificar.

Un tokenizador no pot generar sancers arbitraris. Per lo general, solament generen número entero en el ranc $\{0,1,2,\mathrm{...},V-1\}$, a on $V$ es diu el seu tamany de vocabulari.

Alguns tokenizadores són capaços de manejar text arbitrari (generalment en operar directament en Unicode), pero uns atres no. En trobar text no codificable, un tokenizador generaria un token especial (a sovint 0) que representa "text desconegut". Açò a sovint s'escriu com [UNK], com en el document BERT.

Un atre token especial que s'usa comunament és [PAD] (a sovint 1), per a "farcidura". Açò s'usa perque els LLM generalment s'usen en lots de text al mateix temps, i estos texts no es codifiquen en la mateixa llongitut. Ya que els LLM generalment requerixen que l'entrada siga una matriu no irregular, els texts codificats més curts deuen reblir-se fins que coincidixquen en la llongitut del més llarc.

Output

El output d'un LLM és una distribució de provabilitat sobre el seu vocabulari. Açò generalment s'implementa de la següent manera:

• En rebre un text, la major part de el LLM genera un vector $y\in {ℝ}^V$ on $V$ és el seu tamany de vocabulari (definit dalt).
• el vector $y$ es passa a través d'una funció softmax per a obtindre $softmax(y)$.

En el procés, el vector $y$ generalment es diu el vector logit no normalisat, i el vector $softmax(y)$ es diu vector de provabilitat. Ya que el vector $softmax(y)$ té $V$ entrades, totes no negatives, i sumen 1, podem interpretar-ho com una distribució de provabilitat sobre $\{0,1,2,\mathrm{...},V-1\}$ —és dir, és una distribució de provabilitat sobre el vocabulari de el LLM.

Considerar que la funció softmax es definix matemàticament sense paràmetros per a variar. En conseqüència, no està entrenada.

Vore també

• Inteligència artificial
• Inteligència artificial forta
• Aprenentage autosupervisado
• Models fundacionals
• Risc existencial de l'inteligència artificial