Come imparano le reti neurali: la matematica dietro ChatGPT e Gemini

Ogni volta che un chatbot risponde a una domanda o un'app di foto riconosce un volto, una rete neurale sta eseguendo un processo di apprendimento che segue gli stessi passaggi di base, indipendentemente dall'attività. Secondo IBM, quel processo si basa su due tecniche collegate: la backpropagation, che calcola quanto ogni parametro interno ha contribuito a un errore, e il gradient descent, il metodo di ottimizzazione che utilizza quei calcoli per correggere i parametri.

Che cosa è in realtà una rete neurale

L'Istituto per l'IA incentrata sull'uomo (HAI) di Stanford descrive una rete neurale come un modello computazionale ispirato dalla struttura del cervello umano, costruito da strati interconnessi di 'neuroni' artificiali che elaborano e trasmettono informazioni. Ogni neurone accetta input numerici, li moltiplica per valori regolabili chiamati pesi, aggiunge un termine di bias e passa il risultato attraverso una funzione di attivazione non lineare prima di inviarlo al livello successivo, secondo la descrizione dell'architettura di IBM. Stanford HAI nota che questa struttura stratificata è ciò che consente alle reti neurali di estrarre schemi da grandi quantità di dati, formando la base dell'apprendimento profondo.

Passaggio uno: il forward pass

L'addestramento inizia con pesi e bias impostati su valori casuali, spiega IBM. Durante il 'forward pass', i dati di input si muovono attraverso la rete livello dopo livello: ogni neurone calcola la sua somma ponderata, applica la sua funzione di attivazione e inoltra l'output, finché il livello finale produce una previsione. In questa fase iniziale, poiché i pesi sono casuali, quella previsione è essenzialmente un'indovinanza.

Passaggio due: misurare l'errore

La rete confronta quindi la sua previsione con la risposta corretta utilizzando una funzione di perdita, una formula che quantifica quanto era lontano l'output, secondo IBM. Diversi compiti utilizzano diverse formule – l'errore quadratico medio è comune per la previsione di numeri, mentre l'entropia incrociata è utilizzata per i compiti di classificazione come l'ordinamento delle immagini in categorie.

Passaggio tre: la backpropagation rintraccia la colpa

Il 'backward pass' è dove avviene l'apprendimento. IBM descrive la backpropagation come il lavoro dal livello di output verso il livello di input, utilizzando una tecnica di calcolo chiamata regola della catena per determinare quanto ogni singolo peso ha contribuito all'errore complessivo. Il risultato è un gradiente: un insieme di valori, uno per ogni peso e bias, che indicano la direzione e la dimensione dell'aggiustamento che ridurrebbe l'errore.

IBM sottolinea l'efficienza di questo approccio: per una rete con un milione di pesi, testare ogni parametro individualmente per prove ed errori richiederebbe più di un milione di forward pass separati attraverso la rete. La backpropagation raggiunge le stesse informazioni in soli due pass – uno in avanti, uno all'indietro.

Passaggio quattro: il gradient descent aggiorna i pesi

Una volta noto il gradiente, il gradient descent sposta ogni peso di un piccolo passo nella direzione che abbassa l'errore, spiega IBM. La dimensione di quel passo è controllata dal 'learning rate': un learning rate più alto accelera l'addestramento ma rischia di superare i migliori valori, mentre un tasso più basso è più preciso ma più lento per convergere. I quattro passaggi – forward pass, calcolo della perdita, backward pass, aggiornamento dei pesi – si ripetono ancora e ancora, spesso su milioni di esempi, finché la perdita smette di diminuire in modo significativo.

Dalla tecnica di laboratorio a ChatGPT e Gemini

I grandi modelli di linguaggio applicano questo stesso ciclo backpropagation-e-gradient-descent su una scala molto più grande, attraverso due fasi distinte. La prima, il pretraining, espone il modello a enormi quantità di testo non etichettato – corpora contenenti centinaia di miliardi di token, secondo RBC Borealis – e ripetutamente gli chiede di prevedere la parola successiva in una sequenza. Un blog di ricerca di RBC Borealis descrive questo modello di base come fondamentalmente una rete addestrata a 'prevedere la parola successiva in una stringa di input parzialmente completa', che le insegna la grammatica, i fatti e i modelli generali ma di per sé non la rende un assistente affidabile.

La seconda fase, il fine-tuning, adatta la rete pretrained al comportamento specifico. RBC Borealis descrive tre approcci comuni: il fine-tuning supervisionato su risposte di esempio scritte da umani; l'apprendimento per rinforzo dal feedback umano (RLHF), in cui un modello di ricompensa separato addestrato sulle preferenze umane guida ulteriori aggiornamenti dei pesi; e metodi più recenti come l'ottimizzazione diretta delle preferenze, che saltano il modello di ricompensa separato ma si affidano ancora alla backpropagation. Questa fase di fine-tuning è ciò che trasforma un predittore di parole successive generale in un sistema che segue le istruzioni e rifiuta determinate richieste, piuttosto che semplicemente continuare il testo nella direzione che è statisticamente probabile.

Perché il meccanismo è importante

Poiché sia il pretraining che il fine-tuning si affidano allo stesso ciclo backpropagation-e-gradient-descent sottostante, i miglioramenti a quella tecnica fondamentale – hardware più veloce, funzioni di perdita migliori, ottimizzazione più efficiente – influiscono su ogni applicazione a valle contemporaneamente, dal riconoscimento delle immagini agli assistenti conversazionali. Stanford HAI nota che le reti neurali ora costituiscono la base dei sistemi di apprendimento profondo utilizzati nel riconoscimento facciale, negli assistenti vocali e nei veicoli autonomi, che sono tutti addestrati attraverso variazioni dello stesso ciclo di quattro fasi descritto sopra.