Anar al contingut

Puntuació automatizado d'ensajos

De L'Enciclopèdia, la wikipedia en valencià

La puntuació automatizado d'ensajos (PAE) és l'us de programes informàtics especialisats per a assignar notes als ensajos escrits en un àmbit educatiu. És una forma de valoració educativa i una aplicació de processament de llenguage natural. El seu objectiu és classificar un gran conjunt de texts en una chicoteta cantitat de categories, corresponent a les possibles calificacions, per eixemple, dels números 1 a 6. En este cas, el disminuir el tamany pot ser considerat un problema de classificació estadística.

Varis factors han despertat un interés creixent per a l'us de les PAE. Entre ells estan: el cost, la responsabilitat, els estàndarts, i la tecnologia. L'aument de costs en l'educació ha fet pressió sobre el sistema educatiu per a que establixca estàndarts a l'hora d'evaluar. Els alvanços tecnològics de l'informació medixen resultats educatius a un cost reduït.

L'us de PAE per a proves en grans conseqüències en l'educació ha generat una reacció violenta significativa, ya que els oponents senyalen que els ordenadors no poden encara puntuar en precisió i argumentant que el seu us per a tals propòsits promou ensenyar escritura de manera reduïda (i.i. ensenyant per a la prova).

Història

[editar | editar còdic]

La majoria de resums històrics de PAE es troben en el treball d'Ellis Batten Page. En 1966, va discutir[1] per la possibilitat de puntuar ensajos per ordenador, i en 1968 va publicar[2] el seu exitós proyecte cridat Project Essay Grade (PEG). Utilisant la tecnologia d'aquell temps, la puntuació informatisada de l'ensaig no hauria segut rendable,[3] aixina que Page va reduir els seus esforços durant dos décades. Finalment, Page va vendre PEG a Measurement Incoporated.

En 1990, els ordenadors de sobretaula havien aplegat a ser tan potents i tan estesos que PAE era una possibilitat pràctica. A principis de 1982, un programa d'UNIX cridat Writer´s Workbench era capaç d'oferir puntuació, ortografia i consells gramaticals.[4] En colaboració en vàries empreses (sobretot Educational Testing Service), Page va actualisar PEG i va realisar algunes proves exitoses a principis dels 1990.[5]

Peter Foltz i Thomas Landauer varen desenrollar un sistema utilisant un motor de puntuació cridat Intelligent Essay Assessor (IEA). IEA va ser primer utilisat per a puntuar ensajos en 1997 per als seus cursos de pregrado. És ara un producte de Pearson Educational Technologies i s'utilisa per a obtindre calificacions en el mercat de productes i en exàmens nacionals.

IntelliMetric és un motor PAE de Vantage Learning. El seu desenroll va escomençar en 1996.[6] Es va utilisar al principi comercialment per a puntuar ensajos en 1998.[7]


Educational Testing Service oferix "i-rater", un programa de puntuació automatizado d'ensajos. Primer es va utilisar comercialment en febrer de 1999.[8] Jill Burstein era el dirigent d'equip en el seu desenroll. El servici d'evaluació online Criterion de Educational Testing Service utilisa el motor i-rater per a proporcionar abdós puntuacions i retroalimentación específica.

Lawrence Rudner ha fet algun treball en puntuació bayesiana, i va desenrollar un sistema cridat BETSY (Bayesian Essay Test Scoring sYstem). Alguns dels seus resultats han segut publicats a paper o online, pero cap sistema comercial incorpora BETSY encara.

Baixe el liderage d'Howard Mitzel i Sue Lottridge, Pacific Metrics va desenrollar un motor de puntuació automatisat de resposta, CRASE. Actualment utilisat per varis Departaments d'Estat d'Educació i en un Departament de EE. UU.  I en la subvenció d'Evaluació Millorada del Departament, la tecnologia de Pacific Metrics ha segut utilisada a gran escala en entorns formatius i de valoració des de 2007.

Measurement Inc. va adquirir els drets de PEG en 2002 i ha continuat en el seu desenroll.


En 2012, Hewlett Foundation patrocina una competició en Kaggle cridada Automated Student Assessment Prize (ASAP). L'intent era demostrar que PAE pot ser tan fiable com un evaluador humà, o inclús més. La competició també va organisar una demostració a banda entre nou proveïdors PAE en un subconjunt de senyes ASAP. No obstant els investigadors varen informar que la puntuació automatizado d'ensajos era tan fiable com la d'un humà,[9] esta afirmació no estava provada per cap evidència estadística, perque alguns proveïdors varen solicitar que tals proves no es realisen com a condició prèvia per a participar en la demostració.[10] Ademés, l'afirmació de Hewlett Study, va demostrar que PAE pot ser tan fiable com els evaluadores humans, va anar llavors quan ha segut fortament qüestionat,[11][12] incloent alguna com la de Randy E. Bennett, Norman O. Frederiksen Chair in Assessment Innovation en el Educational Testing Service.[13] Algunes de les crítiques més importants de l'estudi varen ser que cinc dels huit datasets varen ser paràgrafs més que ensajos, quatre dels huit datasets eren evaluats per llectors humans que se centraven més en el contingut que en l'habilitat d'escritura, i això en lloc de medir als llectors humans i màquines PAE front a la "verdadera puntuació", la mija de les puntuacions dels dos llectors, l'estudi va amprar una construcció artificial, cridada  "puntuació resolta", el qual en quatre datasets va consistir en la més alta de les dos puntuacions humanes si hi havia un desacort. Esta última pràctica, en particular, va donar a les màquines una ventaja injusta per deixar-los redonejar cap a dalt per a estos datasets.[11]


En 1966, Page hipotetizó que, en el futur, el juge computacional serà millor que es correlacione en cada juge humà, en lloc d'en tots els juges que hi haja.[1] A pesar de criticar la aplicabilidad d'este enfocament a la calificació d'ensajos en general, esta hipòtesis va ser recolzada per a calificar respostes lliures a preguntes curtes, tals com aquells típics del sistema britànic  GCSE.[14] Els resultats del  aprenentage supervisat demostren que els sistemes automàtics actuen be quan les calificacions dels diferents professors humans són concordants. El clustering no supervisat de les respostes varen mostrar que els papers excelents i els papers fluixos varen formar clusters ben definits, i la regla de calificació automatizado per a estos clusters va funcionar be, mentres que les calificacions donades per professors humans per al tercer cluster (‘mixed’), la fiabilitat de qualsevol valoració de treballs del cluster ‘mixed’  a sovint són qüestionats (abdós humà i computacional).[14]

Diferents paràmetros en la calitat de l'ensaig

[editar | editar còdic]

Segons una enquesta recent,[15] els sistemes PAE intenten puntuar variables diferents de la calitat d'un ensaig per a proporcionar retroalimentación als usuaris. Algunes d'estes variables són les següents:

  • Gramaticalidad: Regles de la gramàtica.
  • Us: Us de les preposicions, us de les paraules.
  • Mecànica: Regles d'ortografia, puntuació, capitalisació.
  • Estil: Elecció de paraules, varietat en les estructures de les oracions.
  • Rellevància: Com de rellevant és el contingut.
  • Organisació: Com de be estiga organisat l'ensaig.
  • Desenroll: Desenroll de les idees en eixemples.
  • Cohesió: Us adequat de conectors llingüístics.
  • Coherència: Transicions entre idees de forma apropiada.
  • Claritat: Claritat de la tesis.
  • Persuasió: Convenciment de l'argument important.

Referències

[editar | editar còdic]
  1. ↑ 1,0 1,1 The Phi Delta Kappan.47(5)
    238–243.
  2. ↑ Page, E.B. (1968). "The Use of the Computer in Analyzing Student Essays", International Review of Education, 14(3), 253-263.
  3. ↑ Page, E.B. (2003), pp. 44-45.
  4. ↑ MacDonald, N.H., L.T. Frase, P.S. Gingrich, and S.A. Keenan (1982). "The Writers Workbench: Computer Aids for Text Analysis", IEEE Transactions on Communications, 3(1), 105-110.
  5. ↑ Page, E.B. (1994). "New Computer Grading of Student Prose, Using Modern Concepts and Software", Journal of Experimental Education, 62(2), 127-142.
  6. ↑ Elliot, Scott (2003). "Intellimetric TM: From Here to Validity", p. 75. In Shermis, Mark D., and Jill Burstein, eds., Automated Essay Scoring: A Cross-Disciplinary Perspective. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN 0805839739
  7. ↑ "IntelliMetric®: How it Works", Vantage Learning. Retrieved 28 February 2012.
  8. ↑ Burstein, Jill (2003). "The I-rater(R) Scoring Engine: Automated Essay Scoring with Natural Language Processing", p. 113. In Shermis, Mark D., and Jill Burstein, eds., Automated Essay Scoring: A Cross-Disciplinary Perspective. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN 0805839739
  9. ↑ «[1]», University of Akron. Consultat el 2015-07-04.

    - Shermis, Mark D., and Jill Burstein, eds. Handbook of Automated Essay Evaluation: Current Applications and New Directions. Routledge, 2013.
  10. ↑ «[2]». Consultat el 2015-06-14.
  11. ↑ 11,0 11,1 Journal of Writing Assessment.6(1)Consultat el 2015-06-13.
  12. ↑ Perelman, L. (2014). "When 'the state of the art is counting words'", Assessing Writing, 21, 104-111.
  13. ↑ Review of Research in Education.39(1)
    370–407.doi:10.3102/0091732X14554179.
  14. ↑ 14,0 14,1 Procedia Computer Science.169
    726–743.doi:10.1016/j.procs.2020.02.171.
  15. ↑ Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence.doi:10.24963/ijcai.2019/879.Consultat el 2020-04-11.

 


Referències

[editar | editar còdic]


Obtingut de «https://www.lenciclopedia.org/w/index.php?title=Puntuació_automatizado_d%27ensajos&oldid=872715»