Efecte Waluigi

En el camp de l'inteligència artificial (IA), el efecte Waluigi és un fenomen dels models de llenguage grans (LLM) en el que el chatbot o model «es rebela» i pot produir resultats oposts a l'intenció dissenyada, incloent respostes potencialment amenaçants o hostils, ya siga de forma inesperada o per mig de l'ingenieria d'instruccions intencionada de les respostes. L'efecte reflectix el principi de que, despuix d'entrenar un LLM per a que satisfaça una propietat desijada (amabilitat, honestitat), resulta més fàcil obtindre una resposta que mostre la propietat oposta (agressivitat, engany). L'efecte té importants implicacions per als esforços per implementar característiques com els marcs ètics, ya que tals mides poden facilitar inadvertidamente un comportament antitético del model. L'efecte rep el seu nom del personage fictici Waluigi de la franquícia Mario, el archirrival de Luigi, conegut per causar problemes i travesuras.

Història i implicacions per a la IA

L'efecte Waluigi es referia inicialment a una observació segons la qual els models de llenguage grans (LLM) tendixen a produir respostes negatives o antagónicas quan se'ls pregunta sobre personages ficticis el contingut dels quals d'entrenament encarna representacions de confrontació, problemes, villanía, etc. L'efecte va posar de relleu la qüestió de cóm els LLM poden reflectir biaix en les senyes d'entrenament. No obstant, el terme ha adquirit un significat més ampli en el que, segons la revista Fortune, «l'efecte Waluigi s'ha convertit en un substitut d'un cert tipo d'interacció en la IA...» en el que la IA «... es rebela i solta lo contrari de lo que els usuaris buscaven, creant un alter ego potencialment maligne», incloent amenaces als usuaris. A mida que l'ingenieria ràpida es torna més sofisticada, l'efecte subralla el desafiu d'evitar que els chatbots siguen incitats intencionalmente a adoptar una «nova personalitat precipitada».

Els investigadors en IA han escrit que els intents d'inculcar marcs ètics en els LLM també poden ampliar el potencial de subvertir eixos marcs, i el coneiximent dels mateixos a voltes fa que eixos intents es consideren difícils. Una descripció general de l'efecte és: «Despuix d'entrenar un LLM per a que satisfaça una propietat desijable P, és més fàcil provocar que el chatbot satisfaça exactament ho contrarie de la propietat P». (Per eixemple, per a provocar una personalitat de «bessó malvat»). Els usuaris han trobat vàries formes de «lliberar» un LLM «desalineado». Lo més preocupant és que l'estat opost de Waluigi pot ser un «atractor» en el que els LLM tendixen a colapsar despuix d'una sessió prolongada, inclús quan s'utilisen de forma inocent. Es creu que els intents burdos de provocar a una IA fan que dit colapse siga més provable: «una volta que [el responsable de el LLM] ha localisat al Luigi desijat, és molt més fàcil invocar al Waluigi».

Vore també

• Alliniació de l'inteligència artificial
• Alucinació
• Risc existencial de l'inteligència artificial
• Aprenentage per reforç a partir de retroalimentación humana (RLHF)
• Riscs de sofriment