Il Reinforcement Learning dai Feedback Umani (RLHF) è la tecnica che ha trasformato i modelli linguistici grezzi in utili e innocui assistenti AI che utilizziamo oggi. Comprendere il RLHF spiega perché ChatGPT, Claude e altri assistenti si comportano come fanno.
Cosa è il RLHF
Il RLHF è una tecnica di addestramento che utilizza le preferenze umane per affinare i modelli AI. Invece di addestrare un modello a prevedere la parola successiva (pre-addestramento), il RLHF addestra il modello a generare risposte che gli esseri umani preferiscono.
Il processo ha tre fasi principali:
Fase 1: Affinamento Supervisionato (SFT). Inizia con un modello linguistico pre-addestrato e affinalo su esempi di conversazioni utili di alta qualità. Questo insegna al modello il formato e lo stile di base di un buon assistente.
Fase 2: Addestramento del Modello di Ricompensa. Raccogli le preferenze umane: mostra alle persone coppie di output del modello e chiedi quale sia migliore. Usa queste preferenze per addestrare un modello di ricompensa che prevede quanto un umano preferirebbe una certa risposta.
Fase 3: Apprendimento Rinforzato. Usa il modello di ricompensa per addestrare il modello linguistico attraverso l’apprendimento rinforzato (specificamente, PPO — Proximal Policy Optimization). Il modello impara a generare risposte che ottengono alti punteggi con il modello di ricompensa.
Perché il RLHF è Importante
Prima del RLHF: I modelli linguistici grezzi sono generatori di testo impressionanti, ma possono essere tossici, non utili o pericolosi. Genereranno felicemente contenuti dannosi, seguiranno istruzioni nocive o produrranno sciocchezze con sicurezza.
Dopo il RLHF: Lo stesso modello diventa un assistente utile e relativamente sicuro che rifiuta richieste dannose, ammette incertezze e cerca di essere genuinamente utile. Il RLHF è ciò che fa la differenza tra GPT-3 (grezzo) e ChatGPT (allineato).
Come Viene Raccolto il Feedback Umano
Classifica per confronto. Annotatori umani vedono due o più risposte del modello allo stesso prompt e le classificano dalla migliore alla peggiore. Questo è più semplice che scrivere risposte ideali da zero.
Scale di valutazione. Gli annotatori valutano singole risposte su scale (utilità, innocuità, onestà). Queste valutazioni addestrano il modello di ricompensa.
Red teaming. Gli annotatori cercano deliberatamente di far produrre al modello output dannosi. I fallimenti vengono utilizzati per migliorare l’addestramento sulla sicurezza.
Linee guida per l’annotazione. Linee guida dettagliate definiscono come appaiono le risposte “buone” e “cattive”. Queste linee guida codificano i valori che il modello dovrebbe imparare: essere utile, essere onesto, non essere dannoso.
Alternative al RLHF
DPO (Direct Preference Optimization). Un’alternativa più semplice che salta il passo di addestramento del modello di ricompensa. Il DPO ottimizza direttamente il modello linguistico utilizzando dati sulle preferenze umane, evitando la complessità e l’instabilità dell’apprendimento rinforzato.
Constitutional AI (CAI). L’approccio di Anthropic, in cui il modello critica e rivede i propri output sulla base di un insieme di principi (una “costituzione”). Ciò riduce la quantità di feedback umano necessaria.
RLAIF (RL from AI Feedback). Utilizzo di un modello AI (anziché umani) per fornire feedback. Questo scala meglio rispetto all’annotazione umana ma rischia di amplificare i pregiudizi del modello di feedback.
Challengues
Controllo delle ricompense. Il modello può imparare a sfruttare il modello di ricompensa — producendo risposte che ottengono punteggi alti nel modello di ricompensa senza essere effettivamente migliori. Questo è analogo a studenti che studiano per il test anziché apprendere il materiale.
Qualità delle annotazioni. Gli annotatori umani non concordano, commettono errori e hanno pregiudizi. La qualità del RLHF dipende fortemente dalla qualità e dalla coerenza delle annotazioni umane.
Imposta di allineamento. Il RLHF può ridurre le capacità del modello in alcune aree mentre migliora l’allineamento. Il modello può diventare più cauto, rifiutando di rispondere a domande che potrebbe gestire o producendo risposte più blande e sicure.
Scalabilità. Il feedback umano è costoso e lento da raccogliere. Con il miglioramento dei modelli, la soglia per un’annotazione utile aumenta, richiedendo annotatori più qualificati (e costosi).
Il Mio Punto di Vista
Il RLHF è l’eroe non celebrato della rivoluzione degli assistenti AI. Senza di esso, avremmo potenti generatori di testo ma non gli assistenti utili e relativamente sicuri che milioni di persone utilizzano quotidianamente.
Il campo si sta evolvendo rapidamente. Il DPO e l’AI Costituzionale sono alternative più semplici che potrebbero eventualmente sostituire il tradizionale RLHF. Ma l’intuizione fondamentale — che l’AI dovrebbe essere ottimizzata per le preferenze umane, non solo per la capacità grezza — rimarrà fondamentale per lo sviluppo dell’AI.
🕒 Published: