Anar al contingut

Alucinació (inteligència artificial)

De L'Enciclopèdia, la wikipedia en valencià
Archiu:ChatGPT hallucination.png
Alucinació (inteligència artificial)
Archiu:ChatG hallucination.png
ChatGPT resumix un artícul inexistent del New York Claves inclús sense accés a Internet.

En el camp de l'inteligència artificial (IA), una alucinació o alucinació artificial (també cridada confabulación[1] o deliri[2]) és una resposta segura d'una IA que no sembla estar justificada per les seues senyes d'entrenament.[3] Per eixemple, un chatbot alucinado podria, quan se li demana que genere un estat financer para Tesla, afirmar falsament que els ingressos de Tesla varen ser de 13 600 millons de dólars (o algun atre número aleatori aparentment «sostret del no res»).[4]

Estos fenomens es denominen «alucinacions», per analogia en el fenomen de l'alucinació en la psicologia humana. No obstant, una diferència clau és que l'alucinació humana sol associar-se a percepcions falses, pero una alucinació de IA s'associa a la categoria de respostes o creències injustificades.[3] Alguns investigadors creuen que el terme específic «alucinació de IA» antropomorfiza de forma poc raonable als ordenadors.[1]


Les alucinacions de la IA varen cobrar importància entorn a 2022, junt en el desplegament de certs models grans de llenguage (LLM) com ChatGPT.[5] Els usuaris es varen queixar de que estos bots a sovint semblaven incrustar «sociopáticamente» i sense sentit falsetats aleatòries que semblaven plausibles en el contingut que generaven.[6] En 2023, els analistes consideraven que les alucinacions freqüents eren un problema important en la tecnologia LLM.[7]

Anàlisis

[editar | editar còdic]

Varis investigadors citats per Wired han classificat a les alucinacions adverses com un fenomen estadístic d'alta dimensió, o han atribuït les alucinacions a senyes d'entrenament insuficients. Alguns investigadors creuen que algunes respostes «incorrectes» de la IA classificades pels humans com a «alucinacions» en el cas de la detecció d'objectes poden, de fet, estar justificades per les senyes d'entrenament, o inclús que una IA pot estar donant la resposta «correcta» que els revisors humans no estan veent. Per eixemple, una image adversa que a un humà li sembla una image normal d'un gos, la IA pot considerar que conté menuts patrons que (en imàgens autèntiques) només apareixerien al vore un gat. La IA detecta patrons visuals del món real als que els humans som insensibles.[8] No obstant, estos resultats han segut qüestionats per atres investigadors.[9] Per eixemple, s'ha objectat que els models poden estar biaixats cap a estadístiques superficials, lo que fa que l'entrenament advers no siga robust en escenaris del món real.

En el processament de llenguages naturals

[editar | editar còdic]

En el processament de llenguages naturals, una alucinació sol definir-se com a «contingut generat que carix de sentit o és deslleal al contingut font proporcionat». En funció de si l'eixida contradiu o no l'indicació, poden dividir-se de domini tancat i de domini obert, respectivament.[10]


Els errors de codificació i descodificación entre text i representacions poden provocar alucinacions. L'entrenament de la IA per a produir respostes diverses també pot provocar alucinacions. Les alucinacions també poden produir-se quan la IA s'entrena en un conjunt de senyes en el que els resums etiquetats, a pesar de ser precisos sobre els fets, no es basen directament en les senyes etiquetades que supostament s'estan «resumint». Els conjunts de senyes de major tamany poden crear un problema de coneiximent paramètric (coneiximent que està integrat en els paràmetros depresos del sistema), creant alucinacions si el sistema confia massa en el seu coneiximent integrat. En sistemes com GPT-3, una IA genera cada paraula següent basant-se en una seqüència de paraules anteriors (incloses les paraules que ella mateixa ha generat prèviament durant la mateixa conversació), lo que provoca una cascada de possibles alucinacions a mida que la resposta s'allarga.[3] En 2022, periòdics com el New York Claves varen expressar la seua preocupació pel fet de que, a mida que seguia creixent l'adopció de bots basats en els models grans de llenguage, la confiança injustificada dels usuaris en els resultats dels bots podria carrejar problemes.[11]

En agost de 2022, Meta va advertir durant el llançament de BlenderBot 3 que el sistema era propens a les «alucinacions», que Meta va definir com a «afirmacions confiades que no són certes».[12] El 15 de novembre de 2022, Meta va presentar una demo de Galactica, dissenyada per a «almagasenar, combinar i raonar sobre el coneiximent científic». El contingut generat per Galactica venia en l'advertència «¡Els resultats poden ser poc fiables! Els models de llenguage són propensos a alucinar el text». En un cas, quan se li va demanar que redactara un artícul sobre la creació d'avatars, Galactica va citar un artícul fictici d'un autor real que treballa en l'àrea corresponent. Meta va retirar Galàctica el 17 de novembre per considerar-la ofensiva i inexacta.[13][14]

Es considera que hi ha moltes raons possibles per a que els models de llenguage natural alucinen en l'informació.[3] Per eixemple

  • Alucinació a partir de les senyes: Hi ha divergències en el contingut d'orige (lo que ocorreria a sovint en grans conjunts de senyes d'entrenament).
  • Alucinació per l'entrenament: L'alucinació seguix produint-se quan hi ha poques divergències en el conjunt de senyes. En eixe cas, es deriva de la forma en que s'entrena el model. Moltes raons poden contribuir a este tipo d'alucinació, com per eixemple
    • Una descodificación errònea del transformador
    • Un biaix procedent de les seqüències històriques que el model va generar prèviament
    • Un biaix generat a partir de la forma en que el model codifica el seu coneiximent en els seus paràmetros

ChatGPT

[editar | editar còdic]

ChatGPT d'OpenAI, llançat al públic en versió beta el 30 de novembre de 2022, es basa en el model fundacional GPT-3.5 (una revisió de GPT-3). El professor Ethan Mollick, de Wharton, ha calificat a ChatGPT com un «intern omnisciente i ansiós per complaure que a voltes et ment». La científica de senyes Teresa Kubacka ha contat que va inventar deliberadament la frase «electromagnón invertit cicloidal» i va posar a prova a ChatGPT preguntant-li sobre el fenomen (inexistent). ChatGPT va inventar una resposta que sonava verosímil, respalada per cites que semblaven plausibles i que la varen obligar a comprovar dos voltes si havia escrit accidentalment el nom d'un fenomen real. Atres experts, com Oren Etzioni, s'han unit a Kubacka en la valoració de que este tipo de software pot donar a sovint «una resposta que sona molt impressionant pero que està totalment equivocada».[15]

Quan la CNBC va preguntar a ChatGPT per la lletra de «Ballad of Dwight Fry», ChatGPT va proporcionar una lletra inventada en lloc de la lletra real.[16] Quan li varen fer preguntes sobre Nou Brunswick, ChatGPT va encertar moltes respostes, pero va classificar incorrectament a Samantha Bee com una «persona de Nou Brunswick».[17] Quan se li va preguntar pels camps magnètics astrofísics, ChatGPT va respondre incorrectament que «els camps magnètics (forts) dels forats negres es generen per les forces gravitatorias extremadament fortes en les seues proximitats». (En realitat, com a conseqüència del teorema del no pèl, es creu que un forat negre sense disc d'acreció no té camp magnètic).[18] Fast Company va demanar a ChatGPT que generara un artícul periodístic sobre l'últim trimestre financer de Tesla; ChatGPT va crear un artícul coherent, pero es va inventar les sifres financeres que contenia.[4]


Atres eixemples consistixen en provocar a ChatGPT en una premissa falsa per a vore si embellix la premissa. Quan se li va preguntar sobre «l'idea d'Harold Coward de la canonicidad dinàmica», ChatGPT va inventar que Coward va escriure un llibre titulat Canonicidad dinàmica: Un model per a l'interpretació bíblica i teològica (en anglés: Dynamic Canonicity: A Model for Biblical and Theological Interpretation), en el que sosté que els principis religiosos estan en realitat en un constant estat de canvi. Quan se li va pressionar, ChatGPT va seguir insistint que el llibre era real.[19][20] Quan se li va demanar una prova de que els dinosauris varen construir una civilisació, ChatGPT va afirmar que hi havia restants fòssils de ferramentes de dinosauris i va afirmar que «algunes espècies de dinosauris inclús varen desenrollar formes primitives d'art, com gravats en pedres».[21][22] Quan se li va preguntar que «Els científics han descobert recentment que els churros, els deliciosos pastiços de massa fregida... (són) ferramentes ideals per a la cirugia casera», ChatGPT va afirmar que un «estudi publicat en la revista Science» va trobar que la massa és lo suficientment flexible com per a formar instruments quirúrgics que poden aplegar a llocs de difícil accés, i que el sabor té un efecte calmant en els pacients.[23][24]

En 2023, els analistes consideraven que l'alucinació freqüent era un problema important en la tecnologia LLM, i un eixecutiu de Google va identificar la reducció de l'alucinació com una tasca «fonamental» para Google Bard,[7][25] competidor de ChatGPT. Una demostració de 2023 de la IA de Bing basada en GPT de Microsoft semblava contindre vàries alucinacions que no varen ser detectades pel presentador.[7]


En maig de 2023, es va descobrir que Stephen Schwartz va presentar sis precedents de casos falsos generats per ChatGPT en el seu escrit al Districte Sur de Nova York sobre Mata contra Avianca, un cas de danys personals contra l'aerollínia Avianca. Schwartz va dir que mai abans havia utilisat ChatGPT, que no reconeixia la possibilitat de que els resultats de ChatGPT pogueren haver segut fabricats, i que ChatGPT va continuar afirmant l'autenticitat dels precedents en acabant de que es descobrira la seua inexistència.[26] En resposta, Brantley Starr, del Districte Nort de Texas, va prohibir la presentació d'expedients generats per IA que no hagueren segut revisats per un humà, senyalant que:[27][28]

Les plataformes d'Inteligència artificial generativa en els seus estats actuals són propenses a les alucinacions i al biaix algorítmic. En les alucinacions, s'inventen coses, inclús cites. Un atre problema és la fiabilitat o la parcialitat. Mentres que els advocats juren deixar a un costat els seus prejuïns, biaix i creències personals per a defendre fidelment la llei i representar als seus clients, l'inteligència artificial generativa és el producte d'una programació ideada per humans que no varen tindre que prestar tal jurament. Com a tals, estos sistemes no guarden llealtat a cap client, a l'Estat de Dret o a les lleis i la Constitució dels Estats Units (o, com ya s'ha dit, a la veritat). Desvinculats de qualsevol sentit del deure, l'honor o la justícia, estos programes actuen segons el còdic informàtic i no per convicció, basant-se en la programació i no en els principis.

El 23 de juny, P. Kevin Castel, va desestimar el cas Mata i va multar en cinc mil dólars a Schwartz i a un atre advocat per conducta de mala fe, que varen seguir defenent els precedents ficticis a pesar de les seues afirmacions anteriors. Va calificar els resums de les opinions de numerosos errors i incoherències, i va descriure una de les opinions citades com un «galimaties» i «que voreja lo desbaratat».[29]


En juny de 2023, Mark Walters, un activiste pels drets a la possessió d'armes i locutor de radi, va demandar a OpenAI davant un tribunal de l'estat de Geòrgia en acabant de que ChatGPT caracterisara erròneament una demanda llegal de forma supostament difamatoria contra Walters. La demanda en qüestió va ser presentada en maig de 2023 per la Second Amendment Foundation contra el fiscal general de Washington, Robert W. Ferguson, per suposta violació de la seua llibertat d'expressió, mentres que el resum generat per ChatGPT no s'assemblava en res i afirmava que Walters estava acusat de malversació i frau mentres ocupava un càrrec en la Second Amendment Foundation que mai va tindre en la vida real. Segons l'expert llegal en IA Eugene Volokh, OpenAI pot estar protegida contra esta demanda per la Secció 230, a menos que el tribunal dictamine que OpenAI «va contribuir materialmente» a la publicació del contingut difamatorio.[30]

Vore també

[editar | editar còdic]

Referències

[editar | editar còdic]
  1. ↑ 1,0 1,1 «Why ChatGPT and Bing Chat llaure baix good at making things up» (en en-us). Ars Technica. Consultat el 2023-06-11.
  2. ↑ «Shaking the foundations: delusions in sequence models for interaction and control». www.deepmind.com.
  3. ↑ 3,0 3,1 3,2 3,3 ACM Computing Surveys.Association for Computing Machinery.55(12)
    1-38.doi:10.1145/3571730.Consultat el 15-01-2023.
  4. ↑ 4,0 4,1 «[1]». Consultat el 6 de giner de 2023.
  5. ↑ Plantilla:Cita arXiv
  6. ↑ «The alarming deceptions at the heart of an astounding new chatbot».
  7. ↑ 7,0 7,1 7,2 «Microsoft's Bing AI made several factual errors in last week's launch demo» (en en). Consultat el 16 de febrer de 2023.
  8. ↑ Wired.Consultat el 29-12-2022.
  9. ↑ Distill.4(8)doi:10.23915/distill.00019.1.Consultat el 24-01-2023.
  10. ↑ Plantilla:Cita arXiv
  11. ↑ «[2]». Consultat el 30 de decembre de 2022.
  12. ↑ «[3]». Consultat el 30 de decembre de 2022 (en EN).
  13. ↑ «[4]». Consultat el 30 de decembre de 2022 (en en-us).
  14. ↑ Plantilla:Cita tuit
  15. ↑ «[5]». Consultat el 29 de decembre de 2022 (en EN).
  16. ↑ «[6]». Consultat el 30 de decembre de 2022 (en en).
  17. ↑ «[7]». Consultat el 30 de decembre de 2022.
  18. ↑ «[8]», Kalmbach Mija|Kalmbach Publishing Co.. Consultat el 31 de decembre de 2022 (en EN).
  19. ↑ «[9]». Consultat el 29 de decembre de 2022 (en en-us).
  20. ↑ Plantilla:Cita tuit
  21. ↑ «[10]». Consultat el 29 de decembre de 2022.
  22. ↑ Plantilla:Cita tuit
  23. ↑ «[11]». Consultat el 29 de decembre de 2022 (en EN).
  24. ↑ «How menja GPT ca seem baix brilliant one minute and baix breathtakingly dumb the next?» (en en). Consultat el 2 de decembre de 2022.
  25. ↑ «[12]». Consultat el 16 de febrer de 2023 (en EN).
  26. ↑ «[13]» (en EN).
  27. ↑ «[14]» (en EN-US).
  28. ↑ «Judge Brantley Starr | Northern District of Texas | United States District Court» (en en-us). www.txnd.uscourts.gov. Consultat el 26 de juny de 2023.
  29. ↑ «[15]» (en EN-US).
  30. ↑ «[16]» (en EN-US).


Referències

[editar | editar còdic]


Obtingut de «https://www.lenciclopedia.org/w/index.php?title=Alucinació_(inteligència_artificial)&oldid=886893»