Con il termine deep learning -- in italiano, “apprendimento profondo” – si indica una tecnica di apprendimento automatico da esempi (machine learning) che utilizza reti neurali particolari, ossia le reti neurali profonde (deep neural network), così chiamate perché costituite da molti strati concatenati per elaborare l’informazione in maniera gerarchica. L’obiettivo è infatti quello di codificare l’informazione a livello di astrazione crescente attraverso ciascuno strato, a partire dallo strato di ingresso fino a quello di uscita, per ottenere le informazioni di interesse per una data applicazione.
Si pensi per esempio ad un problema di classificazione di immagini (es. riconoscimento di automobili). Lo strato di ingresso potrà ricevere i singoli pixel di un'immagine, mentre gli strati successivi potranno elaborarli in maniera aggregata per arrivare in automatico alla codifica di nozioni sempre più complesse (come linee, bordi, ruote, portiere, forma dell’automobile, logo del marchio) fino a fornire l’uscita desiderata (marca e modello dell’automobile, come esemplificato nella seguente figura).
Tuttavia, i concetti di alto livello codificati da ciascuno strato emergono in maniera spontanea dai dati di esempio, attraverso l’algoritmo di addestramento e la struttura della rete profonda scelta dagli sviluppatori in fase di progetto. Tali concetti sono in genere oscuri, ovvero non facilmente interpretabili.
D’altronde, la bontà dei sistemi di IA viene tipicamente giudicata attraverso il solo comportamento di ingresso e uscita, come la corretta classificazione di un insieme di dati di validazione (mai utilizzati durante l’addestramento).
Deep learning: un successo senza precedenti
Grazie soprattutto alle moderne capacità computazionali e alla disponibilità di enormi quantità di dati, le reti neurali profonde hanno riscontrato un enorme successo in innumerevoli ambiti, tra cui:
- l’analisi ed elaborazione di immagini;
- la visione artificiale;
- l'elaborazione del linguaggio naturale;
- la traduzione di testi;
- il riconoscimento vocale;
- la genomica;
- la creazione di sistemi interattivi avanzati come le odierne chatbot, fra cui la famosa ChatGPT;
- la sicurezza informatica, anche già con applicazioni già commerciali, es. per la rilevazione di eventi anomali.
Deep learning: auto-attenzione e transformer
Esistono moltissimi modelli di reti profonde, ognuno con particolari pro e contro, a seconda del campo di applicazione. Un meccanismo chiave che è emerso di recente ed ha permesso di raggiungere risultati inaspettati è quello della cosiddetta auto-attenzione.
Per esempio, in un testo alcune parole sono più importanti di altre a seconda del contesto. Quando una persona interpreta una frase, si concentra istintivamente sulle parole più rilevanti, comprendendo al contempo come si relazionano tra loro. L’auto-attenzione è una operazione volta a codificare questo meccanismo, implementata come prodotto fra matrici numeriche e dunque eseguibile in maniera rapida nei moderni processori grafici (GPU).
L'auto-attenzione permette a un modello di apprendimento automatico di concentrarsi selettivamente su diverse parti di una sequenza di ingresso e di valutarne dinamicamente l'importanza. L'auto-attenzione esamina l'intera sequenza contemporaneamente, rendendo più rapide ed efficaci attività quali l’elaborazione del linguaggio naturale.
L’auto-attenzione è alla base delle architetture cosiddette Transformer, per la prima volta proposte nel lavoro di ricerca “Attention Is All You Need” pubblicato da ricercatori presso Google nel 2017 e oggi alla base di tantissimi modelli di reti profonde, fra cui tutte le moderne chatbot di enorme successo (si veda IA generativa e Large Language Models (LLMs)).
Deep learning: le sfide
Agli innumerevoli successi ottenuti tramite deep learning, si affiancano altrettante sfide. Da un lato, la complessità (numero di parametri) di questi modelli li espone a un problema di eccessivo adattamento ai dati (overfitting), ossia poca generalizzazione a partire dai dati di esempio.
Inoltre, poiché si tratta di modelli fondamentalmente “black-box”, è estremamente difficile determinarne la affidabilità. Questo aspetto è invece importantissimo in contesti in cui è necessario comprendere a fondo il meccanismo alla base delle decisioni, per esempio, per evitare discriminazioni o bias (come in ambito giudiziario) o per motivi di sicurezza (permettendo agli umani di correggere gli errori).
Esiste per questo un intero campo di ricerca che si occupa di rendere comprensibili (explainable) le reti neurali profonde.
Le reti neurali profonde sono anche vulnerabili ad attacchi da parte di un avversario intelligente sia in fase di addestramento che in fase operativa (si veda anche Adversarial AI (poisoning, prompt injection, jailbreaks, ecc.), e i meccanismi di difesa sono in grado di offrire garanzie piuttosto limitate. Ciò è particolarmente critico in applicazioni per la sicurezza informatica.
Deep learning: criticità dei modelli "black box" e dei bias
La mancanza di trasparenza complica notevolmente l'identificazione e la correzione di eventuali pregiudizi (bias). L'algorithmic bias sorge quando i dati di addestramento sono storicamente distorti, incompleti o non rappresentativi (si parla in tal caso di bias di campionamento). L'algoritmo impara e, di fatto, amplifica queste distorsioni, portando a risultati iniqui o discriminatori (ad esempio, sistemi di riconoscimento facciale con precisione inferiore per certi gruppi demografici).
Un altro problema è dato dalle cosiddette correlazioni spurie: un modello di IA addestrato unicamente per minimizzare l'errore statistico (cioè la loss function) può identificare e basarsi su correlazioni spurie (accidentali, non causali) presenti nel dataset.
Per far fronte a queste problematiche, si sta sviluppando il campo della Explainable AI (XAI) (si veda Etica ed esplicabilità (explainability)), che cerca di rendere le decisioni dei modelli più comprensibili.