Human in the loop nei test di sicurezza con AI autonoma
Definizione breve
Lo human in the loop (HITL) è il principio per cui un sistema AI autonomo agisce entro limiti fissati da persone e restituisce a una persona decisioni specifiche — qui, qualsiasi azione che possa toccare un sistema di produzione — prima che avvengano.
Perché conta adesso
L'autonomia rende utile un red team AI; il controllo lo rende adottabile. Board, regolatori e l'AI Act europeo (sorveglianza umana, art. 14) pongono la stessa domanda: chi può fermarlo, e chi ha approvato ciò che ha fatto? Un buon modello HITL risponde a entrambe, con evidenze.
Punti chiave
- ▸Autonomia graduale: dalla sola osservazione passiva fino al test completamente autonomo entro un perimetro definito.
- ▸Soglie di approvazione: le azioni con possibile impatto su un bersaglio attendono una decisione umana esplicita.
- ▸Controllo di arresto: gli operatori possono mettere in pausa o terminare una campagna in qualsiasi momento.
- ▸Responsabilità: ogni approvazione e ogni azione sono registrate con chi, cosa e quando.
- ▸Il giudizio finale resta umano: i verdetti automatici sono proposte che un operatore conferma.
Come funziona in pratica l'autonomia graduale
In Zero Hunt ogni campagna gira a uno di cinque livelli di autonomia, dalla sola osservazione passiva fino alla valutazione completa riservata alle finestre di manutenzione pianificate. Ogni livello stabilisce cosa gli agenti possono fare da soli e cosa deve attendere una persona: al livello più basso qualsiasi scansione attiva richiede approvazione; i livelli intermedi chiedono approvazione per i test di sfruttamento, sulle credenziali e sulla disponibilità; solo il livello più alto, scelto in modo esplicito, lavora senza soglie di approvazione all'interno del proprio perimetro.
Quando il motore propone di eseguire un proof of concept che il livello della campagna non consente, non lo esegue: lo mette in una scheda di revisione dove un operatore può esaminarlo e decidere. L'esecuzione da lì richiede un consenso registrato, un nuovo controllo del perimetro al momento dell'esecuzione, un permesso sul singolo script che non cambia il livello della campagna, un blocco che impedisce a due attori di agire sullo stesso host e una registrazione firmata con l'identità dell'operatore.
HITL, AI Act europeo e auditor
L'AI Act europeo chiede che i sistemi AI ad alto rischio siano progettati in modo che le persone possano sorvegliarli efficacemente, comprenderne l'output e intervenire o interromperli (art. 14). NIS2 e DORA chiedono evidenza che i test siano controllati e proporzionati.
Un disegno HITL trasforma questi requisiti in artefatti: il livello di autonomia di ogni campagna, ogni approvazione con autore e orario, ogni azione con la sua evidenza e un comando di arresto che funziona. Per il modello operativo completo vedi red team AI autonomo e la panoramica red team AI on-premise.
Approfondisce
Vuoi questo sul tuo ambiente?
Prenota una call di scoping di 30 minuti — mappiamo direttamente sul tuo scope di compliance attuale e sul tuo profilo di minaccia.