ALL'INTERNO DEL

Menabò n. 185/2023

14 Gennaio 2023

L’effetto in trentesimi della pandemia

Fabrizio Patriarca riassume i risultati di uno studio, condotto con due coautori, sugli effetti che le misure dirette a contrastare la pandemia hanno avuto sulla performance degli studenti universitari. Lo studio, utilizzando dati riferiti all’Università di Modena e Reggio Emilia, identifica l’impatto delle nuove modalità della didattica e dello svolgimento degli esami nonchè dei confinamenti che appare essere stato di innalzamento della valutazione della performance degli studenti al di là del suo effettivo miglioramento.

Uno degli effetti negativi della pandemia che ancora non ci siamo lasciati completamente alle spalle, è quello sul capitale umano. Al di là degli effetti diretti in termini di decessi e salute, vi sono stati diversi effetti indiretti, legati alle misure di contrasto alla diffusione del virus, che hanno negativamente influito sul processo di accumulazione di capitale umano. Come è noto, il distanziamento sociale ha peggiorato la salute mentale ed ha imposto la chiusura delle attività scolastiche ed universitarie in presenza, con un repentino passaggio alla didattica online. 

In un lavoro recente insieme a Luca Bonacini e Giovanni Gallo (The Composite effect of Covid-19 on university students’ careers, 2023 mimeo) ci siamo concentrati sull’impatto che ciò ha avuto sugli studenti universitari. Nonostante si tratti di una questione molto recente, la letteratura sul tema è già consistente. Tuttavia, al contrario di quanto si è registrato per il sistema scolastico e superiore, le analisi sul caso dell’istruzione terziaria, analizzando i risultati ottenuti dagli studenti agli esami, hanno raggiunto risultati meno netti, talvolta poco significativi e in alcuni casi addirittura positivi. Il verificarsi di questi ultimi casi potrebbe sembrare paradossale a chi è più distante dal sistema universitario. A chi però lavora nell’università o frequenta studenti universitari, non sfugge un dato semplice che può spiegare un simile risultato: oltre ai metodi di insegnamento, durante la pandemia sono cambiati anche i metodi di valutazione. Gli esami svolti in modalità remota potrebbero aver favorito comportamenti illegittimi da parte degli esaminandi quali plagio e simili, oppure aver reso più facile, rispetto alle modalità tradizionali, un esito favorevole della prova. Infatti, fare un esame in una stanza da soli potrebbe aiutare la concentrazione e, inoltre, l’esame da remoto può richiedere tipologie di verifica, come ad esempio le domande a risposta chiusa, nelle quali gli studenti incontrano meno difficoltà. 

Ciò apre una possibilità: che la performance misurata migliori mentre quella che possiamo considerare effettiva resti invariata o peggiori. Per un’analisi in grado di offrire una fondata valutazione di questa possibilità sono necessari dati molto accurati, che fortunatamente sono disponibili grazie al progetto dell’università di Modena e Reggio Emilia di sistematizzazione di tutti i micro dati interni all’ateneo sia di fonte amministrativa (archivio studenti, test d’ingresso e altro) sia provenienti da interviste (almalaurea). La creazione di questa banca dati (Unimoredata), si inserisce in un processo di miglioramento delle basi informative sul sistema d’istruzione terziaria in atto anche in altri atenei (inclusi Sapienza, Bologna, Palermo e Torino). Si tratta di un processo rilevante ai fini del miglioramento della qualità dell’offerta universitaria specialmente in termini di orientamento e di maggiore corrispondenza alla domanda di istruzione terziaria sul mercato del lavoro. 

Il caso di studio è poi particolarmente interessante se si considera che, essendo stata la provincia di Modena la prima zona rossa del mondo (fuori Wuhan) con un ateneo al suo interno, Unimore è stata la prima università a chiudere ed è l’unica nella quale già il secondo semestre dell’anno accademico 2019/2020 si è tenuto completamente in modalità a distanza.

Tornando all’analisi in questione, nel periodo che va da Marzo 2020 ad Ottobre 2021, nella banca dati risultano oltre 450.000 esami sostenuti a ciascuno dei quali è associato un insieme molto dettagliato di informazioni sia sullo studente sia sull’esame. In generale, i voti agli esami sostenuti nel periodo in cui erano in vigore le misure di distanziamento sono risultati mediamente più alti di quelli precedenti, di circa un quarto di trentesimo: non molto, ma comunque una variazione positiva. La ricchezza dei dati a disposizione è stata sfruttata per mettere a punto delle strategie che permettesse di identificare gli impatti sia del cambiamento repentino delle modalità didattiche da presenza a remoto, che delle misure di distanziamento sociale.

Quanto alle prime, abbiamo sfruttato il fatto che nell’ateneo erano già presenti in numero non trascurabile corsi offerti in modalità cosiddetta blended, ovvero in cui solo circa metà degli insegnamenti viene erogato in presenza. Pertanto, sugli studenti che frequentano corsi di studio che adottano questa formula, l’impatto del repentino passaggio alla nuova modalità di erogazione delle lezioni, se c’è stato, ha avuto intensità pari alla metà di quello che si è avuto negli altri corsi. Allo stesso tempo, per tali corsi erano previste le medesime modalità di esame che per gli altri. Da un’analisi econometrica che sfrutta proprio questa differenza secondo un metodo controfattuale detto “diff-in-diff”, risulta che nel periodo considerato la differenza nelle medie dei voti tra gli studenti che frequentano i due differenti tipi di corsi di laurea è cambiata di circa 0,55 trentesimi, a favore dei corsi blended. Possiamo quindi stimare che l’impatto del cambiamento delle modalità di erogazione delle lezioni, nel caso dei corsi standard, sia stato positivo e di poco superiore ad un trentesimo. Tale effetto non è poi così irrilevante se si considera che in media nella carriera di un singolo studente le votazioni nei singoli esami si distanziano dalla media finale per circa tre punti.

Per quanto riguarda la stima degli effetti del confinamento casalingo, abbiamo potuto sfruttare un’altra particolarità dell’Università di Modena e Reggio Emilia. Quest’ultima, infatti, ha adottato, all’interno dei margini di flessibilità consentiti dal ministero dell’Università, una delle linee più restrittive rispetto alle riaperture successivamente alla prima ondata con la conseguenza, verificatasi anche altrove, che la maggioranza degli studenti fuori sede è tornata a casa. Visto che le misure restrittive successive al lockdown nazionale hanno avuto un carattere regionale questo ci consente di usare l’informazione sulle misure imposte nella regione di residenza degli studenti come indicatore (approssimato) dell’esposizione al confinamento casalingo. Per ogni data di esame abbiamo quindi ricostruito il numero di giorni in cui la regione di provenienza dello studente è stata in zona rossa. Da questa analisi, ristretta gli studenti fuori sede, è risultato che ciascun giorno passato in confinamento ha un effetto cumulato sul voto di esame di poco più di 0,02 trentesimi. Considerando la media dell’esposizione alle misure restrittive di circa 90 giorni, possiamo quindi stimare l’impatto cumulato delle misure di confinamento in poco meno di due trentesimi. 

Da questa stessa strategia è risultato anche un risultato meno atteso. Se si considera la situazione delle restrizioni regionali nelle due settimane di preparazione all’esame, risulta che chi è costretto in casa abbia una performance di un quarto di punto superiore: non molto, ma la verosimiglianza di un effetto “concentrazione” è quanto meno indice dell’accuratezza dei dati e dell’analisi.

Tirando le somme, la pandemia sembra avere avuto un impatto complessivo negativo sulla performance effettiva degli studenti universitari circa di 3 punti su 30 (poco più di un terzo per le modalità e il restante per il confinamento, scontando anche l’effetto contrario delle restrizioni durante la preparazione). Un impatto significativo ma oscurato in superficie da un sistema di valutazione, per così dire, più generoso, che ne ha più che compensato l’effetto in termini di performance rilevata. Da ciò derivano due differenti ordini di problemi. Il primo riguarda l’aspetto più noto e diretto: la perdita in termini di accumulazione di capitale umano, una perdita rilevante che ha effetti di lungo periodo e che è stata affrontata solo in parte nel PNNR, in cui lo sbilanciamento tra misure sul capitale fisico e misure sul capitale umano è rilevante. 

Ma c’è anche un secondo aspetto forse minore ma non irrilevante: rispetto alle altre, questa generazione di matricole risulterà, a parità di voti e titolo, meno preparata. Ed il rischio è che nel tempo si produca un cosiddetto effetto stigma ovvero si diffonda la percezione che chi ha studiato negli anni della pandemia sia meno capace. Ciò potrebbe essere vero per alcuni, specialmente per coloro che maggiormente si sono giovati delle modalità più generose di valutazione, non è però vero per tutti. Al contempo, il ruolo di segnale che l’aver ottenuto una laurea produce su chi domanda lavoro si indebolirebbe. Ne risulterebbe un processo cosiddetto di discriminazione statistica: una pratica efficiente per chi la attua, i datori di lavoro, ma altrettanto iniquo per una generazione che al danno vedrebbe aggiungersi la beffa.

Schede e storico autori