I sistemi di intelligenza artificiale impiegati in ambiti sensibili possono produrre conseguenze rilevanti sulla sicurezza, sui diritti delle persone e sulla continuità dei processi aziendali. La loro gestione richiede quindi controlli più rigorosi rispetto a quelli normalmente applicati ai sistemi informatici tradizionali.
Il corso fornisce un metodo operativo per identificare, valutare, mitigare e monitorare i rischi associati ai sistemi AI ad alto rischio. L’attenzione è concentrata sugli aspetti tecnici e organizzativi che devono essere gestiti durante l’intero ciclo di vita del sistema: dati, modelli, infrastrutture, sicurezza, prestazioni, logging, supervisione umana, gestione degli incidenti e controllo dei fornitori.
Attraverso esercitazioni, checklist e analisi di casi, i partecipanti imparano a costruire un sistema di controlli verificabile e documentato, collegando i requisiti dell’AI Act alle attività concrete dei team IT, cybersecurity, data management e risk management.
La gestione di un sistema AI ad alto rischio non può limitarsi a una verifica normativa iniziale. Richiede un processo continuativo che permetta di:
- individuare gli scenari di rischio;
- valutare probabilità, gravità e impatto;
- definire controlli preventivi, rilevativi e correttivi;
- verificare la qualità e l’idoneità dei dati;
- monitorare accuratezza, stabilità e sicurezza del sistema;
- garantire una supervisione umana effettiva;
- registrare anomalie, incidenti e azioni correttive;
- mantenere evidenze tecniche utilizzabili durante audit e controlli.
Il corso è rivolto principalmente a:
- responsabili e amministratori IT;
- system administrator;
- responsabili delle infrastrutture tecnologiche;
- specialisti di cybersecurity;
- tecnici coinvolti nell’implementazione di soluzioni AI;
- data engineer e machine learning engineer;
- responsabili di applicazioni e servizi digitali;
- IT risk manager;
- responsabili del monitoraggio e dei controlli interni;
- tecnici coinvolti nella gestione di fornitori e piattaforme AI;
- personale tecnico che collabora con AI Compliance Officer, DPO, Legal e Internal Audit.
Al termine del percorso i partecipanti saranno in grado di:
- riconoscere i principali criteri di classificazione dei sistemi AI ad alto rischio;
- comprendere ruoli e responsabilità di provider, deployer, importatori, distributori e soggetti coinvolti nella catena di fornitura;
- impostare un processo di AI risk management lungo il ciclo di vita del sistema;
- identificare rischi tecnici, operativi, organizzativi e di sicurezza;
- costruire un registro dei rischi AI;
- valutare qualità, rappresentatività, completezza e affidabilità dei dati;
- definire controlli su modelli, infrastrutture, accessi e interfacce;
- progettare meccanismi di logging, tracciabilità e monitoraggio;
- verificare accuratezza, robustezza e cybersicurezza;
- definire procedure di supervisione e intervento umano;
- gestire anomalie, malfunzionamenti e incidenti;
- predisporre evidenze e documentazione per audit interni e verifiche di conformità.
Classificazione dei sistemi AI
- Approccio basato sul rischio dell’AI Act
- Differenza tra rischio inaccettabile, alto rischio, rischio limitato e rischio minimo
- Sistemi AI ad alto rischio collegati a prodotti regolamentati
- Sistemi utilizzati negli ambiti indicati dall’Allegato III
- Biometria e identificazione delle persone
- Infrastrutture critiche
- Istruzione e formazione
- Selezione, gestione e valutazione del personale
- Accesso a servizi essenziali
- Applicazioni nella pubblica amministrazione
- Giustizia, migrazione e sicurezza
- Condizioni ed eccezioni alla classificazione
L’AI Act considera ad alto rischio, tra gli altri, alcuni sistemi utilizzati nella biometria, nelle infrastrutture critiche, nell’istruzione, nell’occupazione, nell’accesso ai servizi essenziali, nelle attività di contrasto, nella migrazione e nell’amministrazione della giustizia.
Ruoli e responsabilità
- Provider e deployer
- Importatori e distributori
- Fornitori di componenti, modelli e servizi cloud
- Responsabilità del titolare del processo aziendale
- Responsabilità dei team IT e cybersecurity
- Gestione dei sistemi acquistati da terzi
- Modifiche sostanziali e possibile variazione del ruolo dell’organizzazione
- Matrice RACI per la gestione del sistema AI
Censimento iniziale
- Inventario dei sistemi AI
- Identificazione della finalità d’uso
- Utenti e soggetti coinvolti
- Processi e decisioni supportate dal sistema
- Dati utilizzati
- Dipendenze tecnologiche
- Modelli e componenti di terze parti
- Confini del sistema e utilizzi ragionevolmente prevedibili
Processo di gestione dei rischi
- Risk management applicato ai sistemi AI
- Integrazione con enterprise risk management e IT risk management
- Definizione del contesto e degli obiettivi del sistema
- Identificazione dei soggetti potenzialmente impattati
- Analisi degli utilizzi previsti e degli usi impropri prevedibili
- Valutazione del rischio inerente e del rischio residuo
- Definizione delle soglie di accettazione
- Riesame periodico e gestione delle modifiche
Il sistema di gestione dei rischi previsto dall’AI Act deve essere continuativo, documentato e mantenuto durante l’intero ciclo di vita del sistema.
Tassonomia dei rischi AI
- Errori e prestazioni insufficienti
- Falsi positivi e falsi negativi
- Bias e risultati discriminatori
- Dati incompleti, obsoleti o non rappresentativi
- Data drift e concept drift
- Mancanza di spiegabilità
- Eccessiva dipendenza dall’automazione
- Uso fuori dal contesto previsto
- Manipolazione degli input
- Prompt injection e attacchi adversarial
- Data poisoning
- Model extraction e model inversion
- Esposizione di dati personali o riservati
- Indisponibilità del servizio
- Dipendenza da fornitori e servizi esterni
- Rischi derivanti da aggiornamenti del modello
Valutazione e prioritizzazione
- Scale di probabilità e impatto
- Gravità del danno
- Numero e tipologia dei soggetti coinvolti
- Reversibilità delle conseguenze
- Velocità di manifestazione del rischio
- Capacità di rilevazione
- Valutazione dei controlli esistenti
- Attribuzione del responsabile del rischio
- Piano di trattamento
Governance e qualità dei dati
- Provenienza e tracciabilità dei dataset
- Criteri di qualità dei dati
- Completezza e accuratezza
- Rappresentatività rispetto alla popolazione interessata
- Gestione dei dati mancanti
- Controllo delle etichette
- Individuazione di bias e squilibri
- Separazione dei dati di training, validazione e test
- Versionamento dei dataset
- Data lineage
- Controlli sugli aggiornamenti
- Protezione dei dati e controllo degli accessi
Controlli sul modello
- Versionamento dei modelli
- Criteri di approvazione e rilascio
- Validazione indipendente
- Definizione delle metriche
- Accuratezza e limiti prestazionali
- Analisi per segmenti e categorie di utenti
- Robustezza rispetto a dati anomali
- Test di stress
- Controllo delle modifiche
- Procedure di rollback
- Gestione delle configurazioni
- Separazione tra sviluppo, test e produzione
Logging e tracciabilità
- Eventi da registrare
- Input, output e decisioni
- Versione del modello utilizzato
- Configurazioni e soglie applicate
- Interventi dell’operatore umano
- Errori, anomalie e override
- Integrità e protezione dei log
- Tempi di conservazione
- Accessibilità delle evidenze
- Utilizzo dei log per audit e incident investigation
Cybersicurezza dei sistemi AI
- Analisi della superficie di attacco
- Gestione delle identità e degli accessi
- Principio del minimo privilegio
- Sicurezza delle API
- Protezione dei dati e dei modelli
- Vulnerability management
- Sicurezza della supply chain
- Dipendenze software e componenti open source
- Monitoraggio degli accessi e delle anomalie
- Test di sicurezza e AI red teaming
- Continuità operativa e disaster recovery
Human oversight
- Obiettivi della supervisione umana
- Competenze dell’operatore
- Comprensione dei limiti del sistema
- Prevenzione dell’automation bias
- Verifica dell’output
- Conferma o rifiuto della raccomandazione
- Override della decisione automatizzata
- Interruzione e disattivazione del sistema
- Segnalazione delle anomalie
- Separazione dei compiti
- Gestione delle decisioni critiche
Monitoraggio in esercizio
- Definizione degli indicatori di controllo
- Metriche di accuratezza e affidabilità
- Monitoraggio degli errori
- Analisi degli scostamenti
- Data drift e model drift
- Cambiamenti nel contesto operativo
- Controllo delle prestazioni per gruppi di utenti
- Soglie di allarme
- Riesame periodico dei rischi
- Trigger per rivalutazione e nuova validazione
Incident management
- Definizione di anomalia, malfunzionamento e incidente
- Raccolta e conservazione delle evidenze
- Classificazione della gravità
- Escalation tecnica e organizzativa
- Contenimento dell’incidente
- Disattivazione temporanea del sistema
- Analisi delle cause
- Correzione e verifica dell’efficacia
- Comunicazione interna
- Rapporti con provider e fornitori
- Registro degli incidenti
- Lessons learned e aggiornamento dei controlli
Per i sistemi AI ad alto rischio, la gestione post-market e la segnalazione degli incidenti costituiscono strumenti essenziali per individuare tempestivamente nuovi rischi e adottare azioni correttive.
Audit e documentazione
- Fascicolo tecnico del sistema
- Registro dei rischi
- Evidenze dei test
- Registro delle versioni
- Log operativi
- Verbali di approvazione
- Evidenze della supervisione umana
- Registro delle anomalie e degli incidenti
- Controlli sui fornitori
- Non conformità e azioni correttive
- Preparazione di un audit interno
Project work conclusivo
I partecipanti analizzano un sistema AI ad alto rischio e predispongono:
- scheda di classificazione;
- mappa dei ruoli;
- registro dei rischi;
- piano di mitigazione;
- matrice dei controlli;
- indicatori di monitoraggio;
- procedura di escalation;
- checklist per l’audit.
Il corso adotta un approccio operativo e laboratoriale. I contenuti normativi vengono tradotti in attività, controlli ed evidenze concretamente gestibili dai team tecnici.
La metodologia prevede:
- spiegazioni supportate da casi aziendali;
- analisi guidata di sistemi e processi AI;
- esercitazioni progressive;
- compilazione di registri, matrici e checklist;
- simulazione di anomalie e incidenti;
- confronto tra rischi, controlli e responsabilità;
- project work conclusivo.
Particolare attenzione viene dedicata all’integrazione dei controlli AI con i processi già presenti in azienda, come cybersecurity, change management, incident management, gestione dei fornitori, business continuity e internal audit.
È consigliata:
- una conoscenza generale dei sistemi informativi aziendali;
- la comprensione dei principali concetti di intelligenza artificiale e machine learning;
- una conoscenza di base dei processi di cybersecurity, gestione del rischio o controllo IT.
Non è richiesta la capacità di sviluppare algoritmi o modelli di machine learning.
Verifica dell’apprendimento
La verifica potrà avvenire attraverso:
esercitazioni;
discussione di casi;
valutazione degli elaborati prodotti;
test finale;
eventuale presentazione del project work.
Attestato
Al termine del corso verrà rilasciato un attestato di partecipazione subordinatamente alla frequenza minima prevista, oppure un attestato di frequenza positiva rafforzato dall'esito positivo del test finale.
Al termine del corso l’organizzazione disporrà di personale tecnico maggiormente preparato a:
- riconoscere i sistemi AI che richiedono controlli rafforzati;
- partecipare alla valutazione dei rischi;
- implementare misure tecniche e organizzative;
- controllare dati, modelli, infrastrutture e accessi;
- monitorare il comportamento del sistema in produzione;
- collaborare alla gestione di anomalie e incidenti;
- produrre evidenze utili per audit e verifiche;
- supportare concretamente le funzioni di AI Governance e AI Compliance.
