Una vecchia Toyota Yaris rivestita da un disegno geometrico ad alto contrasto è passata davanti a una telecamera di sorveglianza Flock e non è stata riconosciuta. La prova si è svolta venerdì 7 agosto a Las Vegas, nel corso della trentaquattresima edizione di Def Con, la conferenza dedicata alla sicurezza informatica. L'autore dell'esperimento è Bill Swearingen, professionista della cybersecurity e cofondatore del meetup SecKC di Kansas City, che ha battezzato il proprio lavoro noRecognition.
Come funziona una telecamera intelligente
Una telecamera intelligente non guarda: calcola. Ogni fotogramma viene passato a una rete neurale che assegna un punteggio di confidenza a quello che crede di aver trovato, per esempio 0,89 su una porzione di immagine che ritiene contenga una persona. Se il punteggio supera una soglia prestabilita, il software disegna un rettangolo attorno al soggetto e genera l'avviso che arriva sul monitor di un operatore. Sotto quella soglia non accade nulla, il video viene registrato e archiviato come sempre, ma nessuna notifica segnala che in quel fotogramma c'era qualcuno.
Un disegno, un motivo, insomma una fantasia grafica (tecnicamente pattern avversariale) che vuole ingannare il sistema gioca esattamente su quel punteggio. La rete non riconosce una persona perché ne comprende la forma, ma perché ritrova una combinazione statistica di contrasti, bordi e trame appresa durante l'addestramento. Un disegno costruito ad hoc inserisce nell'immagine i dettagli che mandano fuori strada quel calcolo: la confidenza crolla sotto la soglia e il rettangolo non compare mai. Sul sito del progetto l'effetto è mostrato con due scatti affiancati: la stessa persona davanti alla stessa telecamera, rilevata con una confidenza dello 0,89 mentre indossa una maglietta comune e ignorata quando indossa quella stampata (per altro terrificante nei canoni estetici). Nei test di noRecognition la soglia di rilevamento è fissata a 0,25.
