Un nuovo benchmark accademico mette a nudo quanto siano ancora fragili gli agenti basati su large language model quando devono affrontare uno dei compiti più delicati della cybersecurity: la ricostruzione catena di attacco a partire da prove digitali reali. Si chiama DiagChain e, secondo i dati riportati dai suoi stessi autori, anche la configurazione più performante tra sei modelli testati riesce a completare correttamente solo il 39,6% dei passaggi previsti. Un numero che dice molto sulla distanza che separa l’entusiasmo attorno agli agenti AI in sicurezza informatica dalla loro reale efficacia operativa.
Summary
Punti chiaveCos’è DiagChain e perché serve un benchmark diagnostico per la ricostruzione della catena di attaccoECRAG e le cinque metriche pensate per la diagnostica degli attacchi con LLMPerché la valutazione per stadi contaSei modelli alla prova: il tasso di successo si ferma al 39,6%Perché modelli piccoli e grandi falliscono in modi diversi nella ricostruzione della catena di attaccoFAQCosa è progettato per valutare DiagChain?Cosa copre la suite di scenari MAIN-69?In che modo la metodologia ECRAG migliora la ricostruzione della catena di attacco?Quali sono le principali difficoltà di prestazione individuate per gli LLM in questo benchmark?
