Durant el primer any de la pandèmia de la Covid-19, molts aspectes de la vida acadèmica i de l’ensenyament van haver de ser organitzats sobtadament de manera diferent. Un dels canvis en què molts de nosaltres que donem classes vam aventurar-nos (fins a cert punt) en l’inèdit es refereix a l’organització d’exàmens. Com que els exàmens ja no es podien fer presencialment a causa dels confinaments, la majoria van tenir lloc a través de plataformes en línia.
Tot i que hi ha maneres relativament fàcils de reduir la possibilitat de fer trampes durant els exàmens a l’aula, no sembla que existeixin mesures tecnològiques senzilles que puguin evitar en gran mesura les trampes durant els exàmens en línia, almenys no sense plantejar preocupacions sobre violacions potencials de les lleis de privacitat. A més, sorgeix una dificultat addicional quan molts estudiants (centenars) han de ser supervisats simultàniament. Per tant, no ens hauria de sorprendre que sense cap mesura alguns estudiants facin un càlcul de risc-benefici i decideixin fer trampes aprofitant les vulnerabilitats dels exàmens en línia.
En el nostre estudi recent Academic integrity in on-line exams: Evidence from a randomized field experiment (Klijn, Mdaghdri i Vorsatz, 2022), presentem un experiment de camp aleatori que té com a objectiu quantificar el dany del frau potencialment causat per l’absència de supervisió en els exàmens en línia en què només es requereix que els estudiants subscriguin el codi ètic de la universitat. Més concretament, analitzem les dades d’un examen final a la Universitat Pompeu Fabra a la primavera de 2020. L’examen és una part important d’un curs obligatori (però introductori) de teoria de jocs per a gairebé 500 estudiants de grau (principalment en Economia, i Administració i Direcció d’Empreses). El curs es va desenvolupar en circumstàncies normals (a l’aula) fins que la Covid-19 va portar les autoritats espanyoles a decretar el confinament al final de la darrera setmana de classes. Com a conseqüència, l’examen es va dur a terme mitjançant la plataforma en línia de la universitat. L’objectiu del nostre treball és estudiar la integritat acadèmica en aquest context aprofitant el disseny específic de l’examen. A diferència d’altres estudis, la nostra anàlisi no involucra variables difícils d’estimar o de controlar, com ara la capacitat latent.
Per poder resumir les nostres conclusions més importants, és útil descriure primer l’estructura i les característiques principals del nostre examen. En primer lloc, l’examen consta de 20 preguntes de tipus test que es divideixen en cinc problemes. Cada problema (excepte el tercer) apareix en una “ronda” anterior (etapa de l’examen) per a la meitat dels estudiants i en una ronda posterior per a la resta d’estudiants. En segon lloc, com que tots els estudiants s’enfronten exactament a les mateixes preguntes, l’única diferència entre els exàmens individuals és l’ordre de les preguntes i l’ordre de les respostes enumerades. En tercer lloc, no és possible retrocedir, és a dir, una vegada un estudiant ha passat a la pregunta següent, no hi ha possibilitat de tornar a la pregunta anterior ni de canviar-ne la resposta (aquí, “resposta” inclou l’opció de deixar la pregunta sense resposta). Explotem els diferents ordres de problemes i dades detallades amb registres de temps (registrats per la plataforma en línia) per estudiar possibles trampes centrant-nos en la puntuació de les respostes i el temps de realització (és a dir, el temps necessari per respondre una pregunta).
Les nostres principals conclusions són les següents: en primer lloc, els estudiants que van rebre un problema determinat a la ronda posterior van tenir un millor rendiment que els altres estudiants tant pel que fa a una major puntuació com a un temps de realització més curt. Concretament, agafant la mitjana de les preguntes que van ser part de les rondes anteriors i posteriors, trobem que el nombre de respostes correctes a les preguntes de la ronda posterior era un 7,7% més alt que a les mateixes preguntes de la ronda anterior. I el temps mitjà de realització de preguntes en una ronda posterior va ser un 18,1% més curt que el de les mateixes preguntes en una ronda anterior. Les dues comparacions són altament significatives. Conjecturem que sobretot els estudiants de la ronda posterior es van beneficiar de les respostes i solucions que es van compartir a través d’aplicacions de xat, xarxes socials o per correu electrònic/telèfon. En segon lloc, pel que fa a les preguntes del problema que no van estar subjectes a l’aleatorització de l’ordre, no es troben diferències significatives quant a la puntuació i el temps de realització en les diferents versions d’examen. En tercer lloc, el recordatori del codi ètic de la universitat, que es va enviar a la meitat dels estudiants a la meitat de l’examen, no va afectar la puntuació de les respostes ni el temps de realització de les preguntes posteriors. Conjecturem que la majoria dels estudiants simplement van ignorar el recordatori perquè van creure que les possibilitats de ser atrapats fent trampes eren escasses. Concloem que el codi ètic de la universitat no és una mesura gaire efectiva per reduir el frau.Tot i que és difícil proporcionar una estimació precisa de la proporció d’estudiants que van fer trampes en una pregunta concreta (o qualsevol subconjunt de preguntes), podem estimar la proporció addicional d’estudiants que van fer trampes a causa de les diferents rondes de problemes, que anomenem tramposos addicionals o engany addicional. Més precisament, l’engany addicional es refereix a l’engany que s’origina a partir del flux d’informació de la ronda anterior a la posterior, és a dir, a més a més de la possible comunicació durant la mateixa ronda. Suposant que els tramposos responen correctament, una estimació directa simple de la proporció de tramposos addicionals ve donada per la diferència de proporció entre els estudiants de la ronda posterior i de l’anterior que donen una resposta correcta, la qual té una mitjana de 0,056 i un màxim de 0,134 (la mitjana i el màxim es prenen sobre totes les preguntes que formen part tant d’una ronda anterior com d’una de posterior.). S’obté una estimació diferent de l’engany addicional utilitzant també els temps de finalització. Suposant que els tramposos tampoc esperen intencionadament abans de respondre una pregunta sobre la qual han obtingut informació, ens centrem en els estudiants que donen una resposta correcta en un període de temps molt curt (és a dir, almenys una desviació estàndard més ràpida que la mitjana dels estudiants de la ronda anterior). La mitjana i el màxim de la diferència de proporció ajustada entre estudiants posteriors i anteriors són de 0,094 i 0,225, respectivament, que es poden considerar límits superiors per a la proporció de tramposos addicionals. Per tant, les nostres estimacions suggereixen que entre el 13,4% i el 22,5% dels estudiants de la ronda posterior van fer trampes en almenys una pregunta. Malgrat (l’evidència de) les trampes, trobem que les notes de l’examen estan positivament correlacionades amb l’avaluació contínua prèvia i, per tant, es poden considerar informatives.
La fotografia de la capçalera té una llicència Creative Commons.
