Pentest AI vs pentester umani: cosa trova ciascuno nel 2026

L'articolo "Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing" (ICLR 2026) è il primo confronto pubblicato su una rete di produzione reale invece che in un laboratorio capture-the-flag. Il disegno, come lo descrivono gli autori:

• Ambiente: una rete universitaria di circa 8.000 host in 12 sottoreti, con il consenso dell'ateneo e il suo team IT a sorvegliare.
• Partecipanti: 10 penetration tester professionisti, 6 agenti AI esistenti e ARTEMIS, un framework multi-agente costruito dagli autori.
• Risultato: ARTEMIS è arrivato secondo. Ha trovato 9 vulnerabilità valide con l'82% di segnalazioni valide, davanti a 9 dei 10 professionisti. Gli agenti esistenti si sono piazzati molto più in basso.
• Costo: gli autori stimano alcune varianti di ARTEMIS a circa 18 dollari l'ora, contro circa 60 dollari l'ora per un penetration tester professionista.

I limiti contano quanto il titolo. È una sola rete. Il lavoro attivo era limitato a circa 10 ore in 4 giorni di accesso. Il team IT approvava le azioni segnalate dal sistema, quindi l'agente non era senza supervisione. E l'agente vincente lo hanno costruito gli autori: normale in ricerca, ma significa che il risultato descrive ciò che può fare un sistema ben progettato, non ciò che fa un qualsiasi prodotto sul mercato.

• Ampiezza

  Un agente può enumerare e sondare ogni host raggiungibile del perimetro a ogni esecuzione. Un team umano campiona, perché i giorni sono limitati.

• Velocità e ripetizione

  Le stesse tecniche girano allo stesso modo alle 3 di notte di domenica. I risultati diventano confrontabili nel tempo, come chiedono audit e consigli di amministrazione.

• Nuovo test

  Dopo una correzione, l'agente può ripetere esattamente il percorso che funzionava e mostrare se funziona ancora. Con le persone, un retest è di solito una nuova prenotazione.

• Tecniche note concatenate su larga scala

  Riuso di credenziali, configurazioni errate e CVE note combinate su centinaia di host sono un lavoro noioso per le persone e di routine per il software.

• Costo orario

  Gli autori stimano alcune varianti dell'agente a circa 18 dollari l'ora contro circa 60 per un professionista. Questo cambia cosa è sostenibile: testare ogni modifica, non una volta l'anno.

• Logica di business

  Capire che un flusso di rimborso non deve mai accettare un importo negativo, o che un ruolo non deve vedere i dati di un'altra filiale, richiede una comprensione del business che agli agenti ancora manca.

• Catene inedite

  Le combinazioni creative che nessuno ha mai scritto, soprattutto tra applicazioni e persone, restano un punto di forza umano.

• Giudizio sull'impatto

  Decidere che un finding medio è critico in questa organizzazione, e spiegarne il perché al consiglio, è lavoro di contesto.

• Social engineering e accesso fisico

  Fuori portata per gli agenti software, e spesso il vero punto di ingresso.

• Test guidati dal regolatore

  DORA TLPT, TIBER-EU e CBEST richiedono tester esterni e threat-led. Il test autonomo supporta quel lavoro tra un esercizio e l'altro; non lo sostituisce.

Persone e agenti commettono errori diversi, e un programma di test deve controllarli entrambi.

Gli agenti possono dichiarare vulnerabilità che non esistono. Un modello può leggere male una risposta, dare per riuscito un exploit o descrivere una vulnerabilità che una stringa di versione si limita a suggerire. Lo dicono i numeri dello studio: anche l'agente migliore ha visto respinta circa una segnalazione su cinque. Il controllo è la prova: per ogni finding la richiesta o l'exploit esatti, la risposta e ciò che è stato fatto dopo l'accesso, registrati in modo da non poter essere modificati dopo.

Gli agenti possono agire oltre ciò che intendevi. Su una rete reale è una questione di sicurezza, non di qualità. I controlli sono un perimetro rigido, un arresto di emergenza e approvazioni per ogni azione che potrebbe interrompere un servizio o esfiltrare dati. Chiedi a ogni fornitore quali azioni attendono una persona, e se ogni approvazione è registrata con nome e orario. Vedi test di sicurezza AI con human in the loop.

Le persone mancano ciò per cui non c'era tempo. Un test annuale copre un campione del perimetro nel giorno in cui è stato eseguito. Quello che viene installato la settimana dopo resta non testato fino all'anno seguente.

1. 1Lascia al test autonomo ampiezza e frequenza. Esegui il pentest autonomo in continuo o a ogni modifica significativa, su tutto il perimetro interno ed esterno.
2. 2Metti un cancello sulle azioni rischiose. Scegli il livello di autonomia per ogni campagna: cosa gira da solo, cosa attende un'approvazione, cosa non gira mai in produzione.
3. 3Accetta solo finding provati. Nessuna prova di sfruttamento, nessun ticket.
4. 4Spendi le ore delle persone dove il giudizio paga. Logica di business, scenari sui sistemi critici, social engineering e la verifica dei finding principali emersi dagli agenti.
5. 5Lascia esterni i test regolamentati. TLPT ed esercizi simili restano a tester accreditati; il test continuo offre loro un punto di partenza più pulito.
6. 6Ritesta ogni correzione in automatico. Chiudi il ticket solo quando il percorso originale non funziona più.

Per capire come si differenziano le famiglie automatiche (strumenti in script, breach and attack simulation, agenti AI) vedi il penetration test automatizzato.

• Chiedi se la misura era alla cieca. I risultati prodotti da un fornitore su set di sfide pubblici che poteva studiare non sono alla cieca, e nessuno dei fornitori commerciali pubblica una misura indipendente e alla cieca del proprio tasso di sfruttamento.
• Chiedi un finding dall'inizio alla fine sul tuo perimetro: exploit, risposta, evidenze dopo l'accesso.
• Chiedi dove gira il modello e quali dati vede. Un pentest consegna allo strumento la mappa più sensibile del tuo ambiente.
• Chiedi cosa succede quando sbaglia. Chi rivede i finding prima che arrivino a te, e come si misurano i falsi positivi.

Il confronto tra strumenti di pentest automatizzato applica queste domande a dieci piattaforme, e la guida ai costi spiega quanto costano.

L'AI può sostituire i penetration tester? Non del tutto. Nello studio ICLR 2026 l'agente migliore ha battuto 9 professionisti su 10 per numero di finding, ma le persone restano avanti su logica di business, catene inedite e valutazione dell'impatto, e i test guidati dal regolatore richiedono team umani. L'AI sostituisce la parte ripetitiva del lavoro, non il giudizio.

Il pentest AI è affidabile? Dipende dal sistema e dal fatto che i finding siano provati. L'agente migliore dello studio aveva l'82% di segnalazioni valide, e gli agenti generici si sono piazzati molto più in basso. Accetta solo finding accompagnati dalla prova di sfruttamento.

È sicuro eseguire un pentest AI autonomo in produzione? Solo con un perimetro rigido, un arresto di emergenza e l'approvazione umana per le azioni che possono interrompere un servizio. Nello studio il team IT approvava le azioni segnalate.

Quanto costa un pentest AI rispetto a uno umano? Gli autori stimano alcune varianti del loro agente a circa 18 dollari l'ora, contro circa 60 per un pentester professionista. Le piattaforme commerciali sono vendute in abbonamento o a consumo; vedi la guida ai costi citata sopra.

Dove si colloca Zero Hunt? Zero Hunt è un red team AI autonomo su un'appliance on-premise che esegue modelli propri, quindi i dati del test restano nella tua rete. L'operatore sceglie uno di cinque livelli di autonomia che decidono quali azioni attendono un'approvazione, e ogni finding è sostenuto da evidenze firmate Ed25519 e concatenate con hash. Non pubblica ancora numeri di benchmark; la metodologia di valutazione è in preparazione.