Katie Paxton-Fear, che si occupa di sicurezza informatica per Semgrep, ha impiegato meno di un'ora e speso meno di 100 dollari per manipolare il comportamento di un modello AI a pesi aperti. Sono bastati dieci esempi di materiale "avvelenato" per convincere il modello a produrre codice esposto all'esecuzione di comandi da remoto, la falla che consente a un attaccante di far girare codice proprio sulla macchina della vittima. "Ho realizzato una backdoor vera e propria", il commento con cui il risultato � stato condiviso.
La dimostrazione evidenzia un problema che Semgrep ha messo nero su bianco in un intervento pubblicato nei giorni scorsi: anche quando i pesi di un modello sono pubblici, la capacit� di prevederne il comportamento � quasi nulla. � una differenza fondamentale rispetto al software tradizionale: un normale programma, perfino in forma di binario, si pu� sottoporre a reverse engineering fino a ottenere una descrizione completa di ci� che fa; con i modelli non esiste nulla del genere, e l'interpretabilit� meccanicistica resta un problema di ricerca aperto. Un modello a pesi aperti conserva i parametri visibili, ma non i dati di addestramento n� la filiera che lo ha prodotto: resta una scatola nera.
