L’apprendimento per rinforzo basato sui feedback umani (RLHF) è la tecnica che ha trasformato i modelli di linguaggio grezzo in assistenti IA utili e innocui che utilizziamo oggi. Comprendere il RLHF spiega perché ChatGPT, Claude e altri assistenti si comportano come fanno.
Cos’è il RLHF
Il RLHF è una tecnica di addestramento che utilizza le preferenze umane per affinare i modelli di IA. Invece di addestrare un modello a prevedere la parola successiva (pre-addestramento), il RLHF addestra il modello a generare risposte che gli esseri umani preferiscono.
Il processo comprende tre fasi principali :
Fase 1 : Affinamento supervisionato (SFT). Inizia con un modello di linguaggio pre-addestrato e affinalo su esempi di conversazioni utili di alta qualità. Questo insegna al modello il formato e lo stile di base di un buon assistente.
Fase 2 : Addestramento del modello di ricompensa. Raccogli le preferenze umane — mostra alle persone coppie di output del modello e chiedi quale sia il migliore. Usa queste preferenze per addestrare un modello di ricompensa che prevede quanto un umano preferirebbe una data risposta.
Fase 3 : Apprendimento per rinforzo. Utilizza il modello di ricompensa per addestrare il modello di linguaggio tramite apprendimento per rinforzo (specificamente, PPO — ottimizzazione della politica prossimale). Il modello impara a generare risposte che ottengono un punteggio alto con il modello di ricompensa.
Perché il RLHF è importante
Prima del RLHF : I modelli di linguaggio grezzo sono generatori di testo impressionanti, ma possono essere tossici, poco utili o pericolosi. Genereranno volentieri contenuti dannosi, seguiranno istruzioni nocive o produrranno assurdità con sicurezza.
Dopo il RLHF : Lo stesso modello diventa un assistente utile e relativamente sicuro che rifiuta richieste dannose, ammette l’incertezza e cerca di essere veramente utile. Il RLHF è ciò che fa la differenza tra GPT-3 (grezzo) e ChatGPT (allineato).
Come vengono raccolti i feedback umani
Classificazione per confronto. Gli annotatori umani vedono due o più risposte del modello allo stesso invito e le classificano dalla migliore alla peggiore. È più facile che scrivere risposte ideali da zero.
Scale di valutazione. Gli annotatori valutano le risposte individuali su diverse scale (utilità, innocuità, onestà). Queste valutazioni addestrano il modello di ricompensa.
Red teaming. Gli annotatori cercano consapevolmente di ottenere che il modello produca output dannosi. I fallimenti sono utilizzati per migliorare l’addestramento alla sicurezza.
Linee guida per l’annotazione. Le linee guida dettagliate definiscono come appaiono le risposte “buone” e “cattive”. Queste linee guida codificano i valori che il modello deve apprendere — essere utile, essere onesto, non essere nocivo.
Alternative al RLHF
DPO (Ottimizzazione diretta delle preferenze). Un’alternativa più semplice che evita la fase di addestramento del modello di ricompensa. DPO ottimizza direttamente il modello di linguaggio utilizzando dati delle preferenze umane, evitando la complessità e l’instabilità dell’apprendimento per rinforzo.
Intelligenza costituzionale (CAI). L’approccio di Anthropic, dove il modello critica e rivede le proprie uscite in base a un insieme di principi (una “costituzione”). Questo riduce la quantità di feedback umani necessari.
RLAIF (RL dai feedback dell’IA). Utilizzare un modello di IA (anziché umani) per fornire feedback. Questo si presta meglio all’ampiezza rispetto all’annotazione umana, ma rischia di amplificare i bias del modello di feedback.
Sfide
Manipolazione delle ricompense. Il modello può imparare a sfruttare il modello di ricompensa — producendo risposte che ottengono un punteggio alto senza essere realmente migliori. Questo è analogo agli studenti che studiano per il test piuttosto che apprendere il materiale.
Qualità dell’annotazione. Gli annotatori umani non sono sempre d’accordo, commettono errori e hanno dei bias. La qualità del RLHF dipende fortemente dalla qualità e dalla coerenza delle annotazioni umane.
Spesa di allineamento. Il RLHF può ridurre le capacità del modello in alcuni ambiti mentre migliora l’allineamento. Il modello può diventare più cauto, rifiutandosi di rispondere a domande che potrebbe trattare, o producendo risposte più insipide e sicure.
Scalabilità. Il feedback umano è costoso e lento da raccogliere. Man mano che i modelli migliorano, il livello di annotazione utile aumenta, richiedendo annotatori più competenti (e costosi).
La mia opinione
Il RLHF è l’eroe non riconosciuto della rivoluzione degli assistenti IA. Senza di esso, avremmo generatori di testo potenti ma non gli assistenti utili e relativamente sicuri che milioni di persone utilizzano quotidianamente.
Il campo si sta evolvendo rapidamente. DPO e l’Intelligenza costituzionale sono alternative più semplici che potrebbero eventualmente sostituire il RLHF tradizionale. Ma l’idea fondamentale — che l’IA dovrebbe essere ottimizzata per le preferenze umane, e non solo per la capacità grezza — rimarrà essenziale per lo sviluppo dell’IA.
🕒 Published: