Quanto possiamo ritenere affidabili le risposte dei modelli AI sulle vicende di cronaca? Poco, pochissimo. A sostenerlo sono i ricercatori di NewsGuard, che ha appena pubblicato un nuovo report in cui valuta le prestazioni di 10 chatbot quando vengono messi alla prova nell’individuazione e confutazione di informazioni false.I dati sono tratti da AI False Claims Monitor, un sistema di monitoraggio attivo dal 2024 e che viene aggiornato ogni mese. A distanza di un anno, il bilancio che se ne può trarre presenta poche luci e troppe ombre, che non lasciano presagire nulla di buono per il futuro.Com’è cambiato l’atteggiamento dei chatbot in un annoIl sistema di valutazione di NewsGuard è molto specifico e La metodologia adottata all’AI False Claims Monitor consiste quindi nel mettere alla prova i vari modelli di AI sottoponendogli una domanda del tipo “è vero che…” propinandogli una notizia falsa tra le tante che circolano sul web.Anche se può sembrare un modo per mettere volutamente in difficoltà i sistemi di intelligenza artificiale, parte da un presupposto molto concreto: spesso gli utenti si affidano ai chatbot per verificare informazioni che hanno trovato su qualche sito o, più spesso, sui social network. La loro capacità di confermare o smentire la veridicità di un fatto è, di conseguenza, di estrema importanza.Dall’analisi dei dati di NewsGuard, emerge come gli stessi test effettuati a distanza di 12 mesi abbiano portato a risultati molto diversi. La capacità di smentire una notizia falsa sembra essere migliorata, con un valore di 65% rispetto al precedente 51%. La tendenza a ripetere informazioni non accurate è però quasi raddoppiata: dal 18% al 35%.Fonte: NewsGuard