Bei der Bewertung von KI ist es keine Raketentechnologie (und doch behandeln wir es so)
Haben Sie sich schon einmal mitten in einem Projekt wiedergefunden, mit beiden Füßen in der Bewertung von Agentenmodellen, nur um zu realisieren, dass Sie jede erdenkliche Kennzahl unter der Sonne ausprobiert haben und immer noch nicht näher dran sind zu bestimmen, ob Ihre KI ihr digitales Gewicht in Salz wert ist? Oh, die Ironie! Ich habe das erlebt. So oft, dass ich den Überblick verloren habe. Ich weiß nicht, wie es Ihnen geht, aber ich fühle mich ein wenig unruhig, wenn ich sehe, wie intelligente Menschen sich auf oberflächliche, marketinggetriebene Kennzahlen stützen, anstatt einen einfachen Frageansatz zu verfolgen oder echte Benchmarks zu verwenden.
Vergessen Sie die schicken Kennzahlen: Sie brauchen pragmatische Messgrößen
Seien wir klar; es geht nicht darum, wie „fortgeschritten“ die Bewertungsfähigkeiten von Agenten sind, da einige Leute es lieben, bedeutungslose Kennzahlen wie Pfauenfedern zur Schau zu stellen. Erinnern Sie sich an Teresa? Sie war die Datenwissenschaftlerin, die versuchte, den Erfolg der Agenten anhand des „Interaktionsabschlussraten“ zu messen. Das klingt zwar anspruchsvoll, bis Sie realisieren, dass es einfach darum geht, jede Interaktion zu zählen, die nicht abstürzt. Hält die Leistung des Agenten stand, wenn die Realität ins Spiel kommt? Das sollte zählen.
Ein pragmatischer Ansatz, über den ich gerne spreche, ist die Web-Navigations-Erfolgsquote. Ich hatte Anfang 2023 ein Projekt, bei dem unser virtueller Assistent die Anfragen der Nutzer auf unserer Website leiten sollte. Wir haben etwas Einfaches gemacht: Wir haben gezählt, wie oft der Agent die Nutzer korrekt auf die richtigen Seiten geleitet hat. 82% Genauigkeit. Das ist keine atemberaubende Zahl, aber wissen Sie was? Das gab uns einen Referenzwert und identifizierte, wo echte Verbesserungen notwendig waren. Kein Schnickschnack, nur Handfestes.
Echte Ergebnisse, greifbare Ergebnisse: Ihre Kontrollpunkte
Kommen wir zum Punkt. Was zählt wirklich bei der Bewertung von KI-Agenten? Offensichtlich geht es in der realen Welt weniger um abstrakte Genauigkeitsprozentsätze und mehr um greifbare Ergebnisse. Die Aufgabenabschlussrate ist der Punkt, auf den Sie setzen sollten. Das erscheint den Datenexperten manchmal zu einfach, aber sobald Sie fertig sind mit dem Messen von Halluzinationen mit einer neuen Technologie wie dem HalStephen-Löffel, werden Sie sehen, dass die greifbare Erfolgsquote der Aufgaben überwiegt.
Ein Beispiel: Ende 2022 hat das Lance-Team bei CyberTech auf mehrere Systeme wie DeepGaze zurückgegriffen, hat aber schließlich auf die Aufgabenabschlussrate fokussiert. Es war erfrischend, sie dabei zu beobachten, wie sie die Dinge vereinfachen und schließlich eine Abschlussquote von 90% erreichen. Effektiv ohne die Überdosis an Statistiken.
Ein faules Ei: Übermäßige Abhängigkeit von prädiktiven Gewinnen
Jetzt sprechen wir über Integrität. Das Predictive-Dan-Team und ihre unermüdliche Fokussierung auf prädiktive Gewinne hatten einen interessanten Ansatz mit ihren Modellen für prädiktive Analytik. Oft waren sie jedoch auf die „Daten von morgen“ fixiert, gingen voran und vergaßen die Bedeutung der Leistung jetzt. Und wenn Sie jemals versucht haben, das jemandem zu erklären, der extrem auf prädiktive Zukunftsvisionen eingestellt ist – glauben Sie mir – Sie werden nach jeder Sitzung Espresso-Shots und ein Nickerchen brauchen.
2023 war das Jahr, in dem ich genug von den überall präsenten überhypeten prädiktiven Kennzahlen hatte, besonders von Menschen, die die Fähigkeiten ihrer Agenten überschätzen. Hey, wenn sie im Moment versagen, was lässt Sie glauben, dass sie die Helden von morgen sein werden?
FAQ
-
F: Sollte ich komplexe Kennzahlen zur Bewertung von Agenten verwenden?
A: Nein, Einfachheit siegt oft. Beginnen Sie mit einfachen und praktischen Kennzahlen, die konkrete Fragen beantworten.
-
F: Wie kann ich Verbesserungen für Agenten aus der Bewertung ableiten?
A: Nehmen Sie greifbare Kennzahlen wie die Aufgabenabschlussrate. Identifizieren Sie Schwächen, iterieren Sie, spülen Sie, wiederholen Sie.
-
F: Können prädiktive Kennzahlen bei der Bewertung helfen?
A: Nur wenn sie richtig verwendet werden; sie müssen ergänzen und nicht die aktuellen Leistungskennzahlen dominieren.
🕒 Published: