Discord ha ammesso che un errore nel proprio sistema di moderazione automatica ha bannato per sbaglio circa 8.200 account dal maggio 2026, scambiando immagini del tutto innocue per materiale pedopornografico. Tra le immagini incriminate figurano scacchiere, fogli di calcolo, texture di videogiochi e persino le schermate dell'inventario di Minecraft. Il denominatore comune era la presenza di una griglia. Il sistema di sicurezza della piattaforma, spiega l'azienda in un lungo thread su X, confronta ogni contenuto caricato con database di materiale gi� noto come illegale, e le immagini a griglia venivano associate per somiglianza a contenuti pedopornografici. Circa 200 di questi ban sono arrivati nel solo ultimo fine settimana, ma il problema andava avanti in sordina da due mesi. This weekend, our safety systems incorrectly triggered and banned around 200 accounts. Everyone affected has been reinstated. Here's what happened. A thread 🧵 https://t.co/wXH32iiv8I— Discord Support (@discord_support) July 7, 2026 A confermare la portata dell'incidente � stato Stanislav Vishnevskiy, cofondatore e direttore tecnico (CTO) di Discord: il bug ha colpito circa 200 utenti che avevano caricato immagini "a griglia" e altri 8.000 che avevano pubblicato "immagini innocue di altro tipo" a partire da maggio. "Tutti gli utenti coinvolti sono ora stati riabilitati", ha dichiarato. Un doppio errore nella catena di moderazione Il meccanismo che avrebbe dovuto evitare guai � quello del controllo umano. "I nostri sistemi segnalano i contenuti confrontandoli con materiale dannoso gi� noto", ha spiegato Discord. "Questo tipo di confronto per somiglianza pu� produrre falsi positivi, ed � per questo che un membro del nostro team Trust & Safety verifica sempre il contenuto segnalato prima di qualsiasi azione." Il comportamento previsto, prosegue l'azienda, era di sospendere temporaneamente i caricamenti durante la revisione, non di bannare l'account. Qui si sono innestati due errori distinti. Il primo saltava del tutto la fase di sospensione e comminava direttamente il ban permanente. Il secondo impediva che il ban venisse revocato in automatico una volta che lo staff aveva esaminato e scagionato l'account, lasciandolo cos� sospeso a tempo indeterminato. "Sappiamo che non � una spiegazione soddisfacente per chi ci ha rimesso l'account, e avremmo dovuto accorgercene prima", ha riconosciuto la societ�, aggiungendo di essere al lavoro su tutele migliori perch� una cosa simile non possa pi� accadere in silenzio. Perch� una scacchiera somiglia a un contenuto illegale Sistemi di questo tipo si appoggiano di norma all'hashing percettivo: l'immagine viene convertita in scala di grigi, ridotta a risoluzione molto bassa e suddivisa in una griglia di quadranti, a ognuno dei quali si assegna un valore in base alla luminosit� rispetto ai vicini. Il risultato � un identificatore che permette di riconoscere una foto nota senza intervento umano. � la stessa famiglia di tecnologie su cui poggiano strumenti come PhotoDNA di Microsoft, pensato proprio per contrastare la diffusione di materiale pedopornografico, e a cui si rifaceva anche il controverso piano di Apple del 2021 per l'analisi delle librerie fotografiche su iPhone. Il limite � evidente: un'immagine organizzata a griglia pu� finire per assomigliare, agli occhi dell'algoritmo, a un contenuto che con quella foto non ha nulla a che fare. Diversi utenti hanno anzi ipotizzato che il sistema fosse diventato pi� sensibile ai pattern a griglia proprio perch� in passato venivano usati per mascherare contenuti illeciti ed eludere i rilevatori automatici. L'automazione applicata alla moderazione ha gi� colpito utenti in regola. L'anno scorso migliaia di iscritti a Instagram e ai gruppi Facebook si erano visti sospendere l'account senza spiegazioni, con molti a puntare il dito contro i sistemi AI di Meta, che per� non ha mai confermato pubblicamente le proprie responsabilit�; ne abbiamo gi� parlato. Anche Tumblr aveva raccolto lamentele analoghe. Discord afferma ora di essere al lavoro su meccanismi che evitino ban "silenziosi" e impediscano al sistema di sicurezza di penalizzare chi non ha violato alcuna regola. La chiusura del caso, per�, non � cos� netta come la comunicazione lascia intendere: una nota della community pubblicata sotto lo stesso thread segnala che alcuni utenti risultano ancora sospesi per violazioni sulla sicurezza dei minori, nonostante l'azienda dichiari di aver riabilitato tutti gli account coinvolti.