L'ingenieria d'instrucció (en anglés, prompt engineering) és el procés d'estructurar un text que pot ser interpretat i comprés per mig d'un model d'inteligència artificial generativa. [1] [2] Un prompt o instrucció és un text en llenguage natural que descriu la tasca que deu realisar una IA. [3][4]

Ingenieria d'instruccions


Una indicació per a un model de llenguage de text a text pot adoptar diverses formes. Per eixemple, podria tractar-se d'una consulta directa, com “¿Quin és el menuda teorema de Fermat?”. [5] També podria ser una orde específica, com “Escriu un poema sobre els fulls que cauen”, [6] o en ocasions, es requerix proporcionar una declaració més llarga que incloga context, instruccions detallades i historial de conversacions per a guiar al model. [7] Ademés, l'ingenieria d'instrucció pot implicar formular una consulta específica, especificar un estil desijat, proporcionar context rellevant o assignar una funció específica a la IA, com “Actuar com un parlant natiu de francés”. [8] [9] En alguns casos, podem usar eixemples per a ensenyar-li al model com mostrar-li parells de paraules en francés i en anglés, com “maison → house, chat → cat, chien → dog”, i demanar-li que complete atres parells similars. Este método es diu aprenentage en pocs dispars, perque el model pot deprendre en molt poques senyes. [10]

En comunicar-se en un model de text a image o de text a àudio, un mensage típic és una descripció del resultat desijat, com "una foto d'alta calitat d'un astronauta montant a cavall" [11] o "Música electrònica relajante de baixa fidelitat i ritme llent". [12] Impulsar un model de text a image pot implicar agregar, eliminar, emfatisar i reordenar paraules per a conseguir el tema, estil, disseny, allumenament i estètica desijats.[1][13]

Aprenentage en context

L'ingenieria d'instrucció està habilitada per l'aprenentage en context, definit com la capacitat d'un model per a deprendre temporalment a partir d'indicacions. La capacitat d'aprenentage en context és una capacitat emergent dels grans models llingüístics. [14]L'aprenentage en context és una habilitat que sorgix quan el model és molt gran, i fa que puga deprendre millor en menys senyes. Açò significa que hi ha canvis en les regles que determinen cóm creix el rendiment del model segons el seu tamany, i que els models més grans milloren més ràpit que els més menuts.[15] [16] [17]


L'aprenentage en context és un tipo d'aprenentage automàtic que s'adapta a cada situació específica, pero solament per un temps llimitat. No guarda l'informació que deprén de cada situació, llevat la que ya tenia abans d'escomençar. Açò es deu a que el model canvia els seus paràmetros interns segons el context, lo que li permet deprendre. [18] Quan un model de IA pot canviar els seus paràmetros interns segons la situació i deprendre d'ella, sense que ningú ho entrene o ajust, es diu que fa taula-optimisació. [19] [20]Açò ocorre dins de parts del model que es diuen capes transformadores, que processen l'informació de forma flexible. La taula-optimisació és una forma de fique-aprenentage o "deprendre a deprendre", perque el model pot deprendre millor en menys senyes i aplicar lo que deprén a atres situacions. [21]

Història

En 2021, els investigadors varen crear un model d'inteligència artificial (T0) que pot fer 12 coses diferents en el processament del llenguage natural (PNL), usant 62 grups de senyes. El model T0 va deprendre de moltes senyes abans de fer cada cosa, i per això va fer millor que atres models que solament varen deprendre de poques senyes per a cada cosa. Per a que el model T0 fera una cosa, els investigadors li donaven una pregunta i una resposta en este format: si {{premissa}} és veritat, ¿{{hipòtesis}} també és veritat? ||| {{resposta}}. Aixina, el model T0 podia resoldre la vinculació, que és vore si una oració se seguix d'una atra.

Un repositori d'avisos va informar que en febrer de 2022 hi havia més de 2000 avisos públics para al voltant de 170 conjunts de senyes.

En 2022, els investigadors de Google varen propondre la tècnica d'estimulació de la cadena de pensaments.[17]

En 2023, vàries bases de senyes de mensages de text a text i de text a image estaven disponibles públicament. [22] [23]

Vore també

Referències

  1. ↑ 1,0 1,1 Diab (2022-10-28). «Stable Diffusion Prompt Book». Consultat el 2023-08-07. «"Prompt engineering is the process of structuring words that ca be interpreted and understood by a text-to-image model. Think of it as the language you need to speak in order to tell an AI model what to draw."»
  2. ↑ Albert Ziegler, John Berryman (2023-07-17). «A developer's guide to prompt engineering and LLMs - The GitHub Blog». github.blog. «"Prompt engineering is the art of communicating with a generative AI model."»
  3. ↑ «Crear bons prompts | Inteligència Artificial en Educació». descàrregues.intef.és. Consultat el 2024-05-03.
  4. ↑ Radford (2019). «Language Models llaure Unsupervised Multitask Learners». OpenAI blog. «"We demonstrate language models ca perform down-stream tasks in a zero-shot setting – without any parameter or architecture modification"»
  5. ↑ OpenAI (2022-11-30). «Introducing ChatGPT». OpenAI Blog. Consultat el 2023-08-16. «"what is the fermat's little theorem"»
  6. ↑ Robinson (2023-08-03). «How to write an effective GPT-3 or GPT-4 prompt». Zapier. Consultat el 2023-08-14. «"Basic prompt: 'Write a poem about leaves falling.' Better prompt: 'Write a poem in the style of Edgar Allan Poe about leaves falling.'»
  7. ↑ Gouws-Stewart (2023-06-16). «The ultimate guide to prompt engineering your GPT-3.5-Turbo model». masterofcode.com.
  8. ↑ Greenberg, J. (31 May 2023). «How to Prime and Prompt ChatGPT for More Reliable Contract Drafting Support». contractnerds.com. Consultat el 2023-07-24.
  9. ↑ «GPT Best Practices». OpenAI. Consultat el 2023-08-16.
  10. ↑ Brown, Tom; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie(2020).«Language models llaure few-shot learners».Advances in Neural Information Processing Systems.33: 1877–1901.
  11. ↑ Heaven (2022-04-06). «This horse-riding astronaut is a milestone on AI's long road towards understanding». MIT Technology Review. Consultat el 2023-08-14.
  12. ↑ Wiggers (2023-06-12). «Fique open sources an AI-powered music generator». TechCrunch. Consultat el 2023-08-15. «Next, I gave a more complicated prompt to attempt to throw MusicGen for a loop: "Lo-fi slow BPM electro chill with organic samples."»
  13. ↑ «How to Write AI Photoshoot Prompts: A Guide for Better Product Photos». claid.ai (2023-06-12). Consultat el 2023-06-12.
  14. ↑ Plantilla:Cita arXiv
  15. ↑ Cavaller, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). "Broken Neural Scaling Laws". International Conference on Learning Representations (ICLR), 2023.
  16. ↑ Plantilla:Cita arXiv
  17. ↑ 17,0 17,1 Plantilla:Cita arXiv
  18. ↑ Musser. «How AI Knows Things No One Told It». Scientific American. Consultat el 17 May 2023. «"By the clave you type a query into ChatGPT, the network should be fixed; unlike humans, it should not continue to learn. Baix it came as a surprise that LLMs do, in fact, learn from their users' prompts—an ability known as in-context learning."»
  19. ↑ Plantilla:Cita arXiv
  20. ↑ «Taula-Optimization». Consultat el 17 May 2023. «"Taula-Optimization is the situation that occurs when a learned model (such as a neural network) is itself an optimizer."»
  21. ↑ Plantilla:Cita arXiv
  22. ↑ Chen (2023-06-23). «How to Turn Your Chatbot Into a Life Coach». The New York Claves.
  23. ↑ Chen, Brian X.. «Get the Best From ChatGPT With These Golden Prompts», The New York Claves, 2023-05-25. Consultat el 2023-08-16 (en en-us).


Referències