Quando si valuta l’IA, non è scienza missilistica (eppure la trattiamo come tale)
Ti sei mai trovato immerso in un progetto, con entrambi i piedi nell’analisi dei modelli di agenti, rendendoti conto di aver esaurito ogni metrica possibile sotto il sole, e di non essere ancora più vicino a determinare se la tua IA meriti il suo peso digitale in sale? Oh, l’ironia! Ci sono passato. Tante volte che ho perso il conto. Non so per te, ma mi sento un po’ inquieto quando vedo persone intelligenti affidarsi a metriche superficiali alimentate dal marketing invece di adottare un approccio semplice di interrogazione o di utilizzare veri benchmark.
Dimentica le metriche fancy: hai bisogno di misure pragmatiche
Siamo chiari; non si tratta di sottolineare quanto siano ‘avanzate’ le capacità di valutazione degli agenti, dato che alcune persone adorano esibire metriche senza significato come piume di pavone. Ti ricordi di Teresa? Era la scienziata dei dati che correva per misurare il successo degli agenti usando il “Tasso di Completamento delle Interazioni”. Suona sofisticato finché non ti rendi conto che si tratta solo di contare ogni interazione che non si pianta. La performance dell’agente si mantiene quando la realtà entra in gioco? È ciò che dovrebbe contare.
Un approccio pratico di cui mi piace parlare è il Tasso di Successo della Navigazione Web. Ho avuto un progetto all’inizio del 2023 in cui il nostro assistente virtuale doveva guidare le richieste degli utenti sul nostro sito. Abbiamo fatto qualcosa di semplice: abbiamo guardato quante volte l’agente ha orientato correttamente gli utenti verso le pagine giuste. 82% di precisione. Non è un numero sbalorditivo, ma sai una cosa? Ci ha dato un riferimento e ha identificato dove erano necessarie vere migliorie. Niente fronzoli, solo concretezza.
Risultati reali, risultati concreti: i tuoi punti di controllo
Va bene, veniamo al sodo. Quindi, cosa conta davvero nella valutazione degli agenti IA? Apparentemente, nel mondo reale, si tratta meno di percentuali astratte di precisione e più di risultati tangibili. Il Tasso di Completamento dei Compiti è dove dovresti puntare. A volte sembra troppo semplice per gli esperti in dati, ma una volta che hai finito di misurare le allucinazioni usando una nuova tecnologia come il cucchiaio HalStephen, vedrai che il tasso di successo tangibile dei compiti prevale.
Prendiamo un esempio: alla fine del 2022, il team Lance di CyberTech si è basato su diversi sistemi come DeepGaze ma ha infine ridotto tutto al Tasso di Completamento dei Compiti. È stato rinfrescante vederli semplificare le cose e alla fine raggiungere un tasso di completamento del 90%. Efficace senza l’overdose di statistiche.
Un uovo marcio: dipendenza eccessiva dai guadagni predittivi
Ora, parliamo di integrità. Il team di Predictive Dan e il loro incessante focus sui guadagni predittivi avevano un approccio interessante con i loro modelli di analitica predittiva. Ma spesso rimanevano bloccati sui “dati di domani”, progredendo e dimenticando l’importanza della performance adesso. E se hai mai provato a spiegare questo a qualcuno di ultra coinvolto nei futuri predittivi — credimi — avrai bisogno di shot di espresso e di un pisolino dopo ogni sessione.
Il 2023 è stato l’anno in cui mi sono stancato delle metriche predittive sovraesposte ovunque, soprattutto da parte di persone che sovrastimano le capacità dei loro agenti. Ehi, se falliscono nell’immediato, cosa ti fa pensare che saranno gli eroi di domani?
FAQ
-
Q: Dovrei usare metriche complesse per la valutazione degli agenti?
A: No, la semplicità trionfa spesso. Comincia con metriche semplici e pratiche che rispondono a domande concrete.
-
Q: Come posso ottenere miglioramenti per gli agenti dalla valutazione?
A: Prendi metriche concrete come il Tasso di Completamento dei Compiti. Identifica le debolezze, itera, risciacqua, ripeti.
-
Q: Le metriche predittive possono aiutare nella valutazione?
A: Solo se utilizzate correttamente; devono completare, e non dominare le metriche di performance attuali.
🕒 Published: