L'esperimento ha messo alla prova 710 partecipanti che dovevano distinguere i testi generati dall'AI fra i commenti a un video
A partire dagli ultimi anni, complice il boom dei modelli d’intelligenza artificiale, il confine tra persone vere e bot automatici in rete si è fatto sempre più sottile e labile, rendendone la distinzione difficile anche agli occhi dei più esperti.
I numeri parlano chiaro, e disegnano un quadro particolarmente allarmante: oltre 6,3 miliardi di account falsi vengono eliminati ogni anno dalle piattaforme social, rappresentando una fetta sostanziale delle interazioni con gli utenti in carne ed ossa. I numeri dei contenuti spam non sono da meno: si parla di 11,1 miliardi di messaggi eliminati ogni anno, in questo caso (i numeri sono di SurfShark, azienda di cybersecurity).
È così che gli studenti del master di Interaction Design dell’Università di Malmö (Svezia) hanno deciso di lanciare «Bot or Not», un esperimento settimanale che mira a capire quanto sia difficile distinguere gli uni dagli altri (cliccate qui se volete mettervi alla prova anche voi, in inglese).
I risultati della ricercaAd essere colpiti dal fenomeno sono soprattutto gli anziani, che spesso partecipano ad accese discussioni di carattere politico su Facebook o Threads. Il regolamento dell’esperimento svedese è in realtà molto semplice: ogni partecipante ha a disposizione 120 secondi per riuscire a distinguere, all’interno di una sezione commenti fittizia, i messaggi dei bot da quelli umani. Tra i parametri presi in esame per calcolare il risultato finale figurano il rilevamento dei bot (ovvero quanti bot sono correttamente individuati in due minuti) e l’accuratezza nel riconoscere chi ha scritto il messaggio (senza fare errori, insomma).Gli argomenti proposti per l'esperimento sono tra i più disparati, e spaziano da tematiche più serie come l’immigrazione e i diritti delle donne, ad altre più «spensierate» come i condimenti più stravaganti per la pizza. Ed è proprio la natura di quegli stessi argomenti a fare da spartiacque, evidenziando come nelle tematiche che suscitano reazioni più emotive (o “di pancia”) queste prendano il sopravvento sulla lucidità dell’utente, facendo così diminuire l’accuratezza nella ricerca dei bot. I risultati ottenuti dall’esperimento non sono stati tra i più incoraggianti: come riporta Surfshark, dei 710 partecipanti totali, appena il 53% è riuscito ad individuare più bot che esseri umani, all’interno della sezione commenti, confermando una situazione per nulla semplice da distinguere. Tra i più attenti figurano sicuramente i più giovani: dall’esperimento è emerso che gli utenti under-20 sono i migliori cacciatori di bot, con una percentuale di accuratezza che supera il 70%. Nello studio, il superamento dei 40 anni di età sembra provocare invece un vero e proprio «crollo generazionale» e prestazionale, con un’accuratezza che scende al 59%.Una distinzione che non si gioca solo sull’età, ma anche sulla piattaforma presa in esame: dai risultati del test, si è infatti evinto come gli utenti di X (il social network di Elon Musk) e Reddit siano più scaltri e allenati nel distinguere i bot dalle persone reali, con una tra le più alte percentuali rilevate (pari al 68%), soprattutto se messi a confronto con gli utenti abituali di Facebook, dove il tasso di rilevamento scende vertiginosamente al 47%.
