"Ist eine 'halluzinationsfreie KI' wirklich möglich? - Die Idee, ChatGPT 'zum Schweigen zu bringen': Das wahre Gesicht von Jev, der ultraschnellen KI, die Entwickler begeistert"

"Ist eine 'halluzinationsfreie KI' wirklich möglich? - Die Idee, ChatGPT 'zum Schweigen zu bringen': Das wahre Gesicht von Jev, der ultraschnellen KI, die Entwickler begeistert"

Liegt der wahre Wert von KI wirklich darin, „gut zu sprechen“?

Der Fortschritt der generativen KI wurde lange Zeit daran gemessen, „wie natürlich sie schreiben kann“ und „wie schwierig die Fragen sind, die sie beantworten kann“. Doch wenn Unternehmen KI tief in ihre Software integrieren und Prozesse automatisieren möchten, ist die Sprachgewandtheit nicht unbedingt der größte Wert.

Wichtig ist, zu erkennen, ob eine Anfrage eine Kündigungsberatung oder eine Rückerstattungsanfrage ist. Zu beurteilen, ob ein auszuführender Befehl gefährlich ist. Aus mehreren KI-Modellen dasjenige auszuwählen, das für die jeweilige Aufgabe am besten geeignet ist. Und das Vertrauen in die Entscheidung in einer für das Programm handhabbaren Form zurückzugeben.

Im Fokus steht dabei „Jev“, das von TypeSafe AI in den USA als Early Access veröffentlicht wurde. Diogo Almeida, der die Entwicklung leitet, ist ein ehemaliger Forscher von OpenAI und war an der Forschung zu RLHF, das Modelle mit menschlichem Feedback anpasst, sowie an der Entwicklung von Technologien beteiligt, die zu ChatGPT führten.

Das herausragende Merkmal von Jev ist, dass es nicht chattet. Es generiert weder Geschichten noch Erklärungen, sondern gibt auf die vom Entwickler vorab definierten Optionen festgelegte Werte und Wahrscheinlichkeiten zurück. TypeSafe nennt dies das „System One Model“. Es ist eine KI, die an das schnelle und intuitive Denken des Menschen angelehnt ist und darauf optimiert ist, eine große Anzahl von Entscheidungen schnell zu treffen, anstatt tiefgehende und langwierige Schlussfolgerungen zu ziehen.


Die Geschwindigkeit, die durch „Nicht-Erstellen von Texten“ erreicht wird

Typische große Sprachmodelle generieren Token einzeln basierend auf den vorherigen Wörtern oder Tokens. Diese hohe Flexibilität ermöglicht eine breite Palette von Anwendungen wie Konversationen, Zusammenfassungen und Programmierung, erhöht jedoch die Zeit und Kosten bei langen Ausgaben. Außerdem muss bei der Nutzung durch Programme die Antwort analysiert und auf das erwartete Format überprüft werden.

Jev hat diese Flexibilität bewusst aufgegeben. Auch wenn die Eingabe unstrukturierte Daten wie natürliche Sprache ist, sind die Ausgabeoptionen und Datentypen vorab festgelegt. Beispielsweise werden Kunden-E-Mails in „Rechnung“, „Kündigung“, „Produktfehler“ und „Sonstiges“ kategorisiert und die Wahrscheinlichkeiten für jede Kategorie zurückgegeben. Da keine Texte Wort für Wort geschrieben werden und mehrere Entscheidungen parallel getroffen werden, ist eine Beschleunigung leicht möglich.

Laut den veröffentlichten Zahlen von TypeSafe beträgt die Antwortzeit 70 bis 500 Millisekunden. Die Eingabekosten betragen 0,042 US-Dollar pro eine Million Tokens, und die Ausgabe wird als „nicht messbare Kosten“ kostenlos behandelt. Das Unternehmen erklärt, dass es bei den angestrebten System-One-Aufgaben die Intelligenz bestehender LLMs beibehalten kann, während es 10 bis 200 Mal schneller ist. Eine eigene Workflow-Bewertung zeigt eine Beschleunigung um das 193,6-fache und eine Kostenreduktion um das 444,6-fache.

Diese Bewertungen stammen jedoch hauptsächlich von den Entwicklern selbst. TypeSafe gibt auch an, dass es eine mögliche Voreingenommenheit durch die Workflow-Ersteller, Fälle, in denen die Vergleichsbedingungen Jev begünstigen, und die Tatsache, dass die Preise nicht subventioniert sind, nur langfristig nachgewiesen werden können. Die beeindruckenden Multiplikatoren sollten nicht als allgemeine Leistung interpretiert werden, die in allen Anwendungen reproduzierbar ist.


Entwickler reagierten mehr auf die „Einfachheit der Integration“ als auf die „Intelligenz“

Kurz nach der Veröffentlichung war das Interesse so groß, dass die API-Bereitstellungskapazität vorübergehend nicht mithalten konnte. In den sozialen Medien fielen nicht die Reaktionen auf, die das Modell als Gesprächspartner genossen, sondern die Beiträge von Entwicklern, die es in tatsächliche Arbeitsabläufe integrierten und testeten.

 

Pranit Sharma, Software-Ingenieur bei Vercel, berichtete, dass die Umstellung von einem bestehenden OpenAI-Modell auf Jev bei der Klassifizierung der Befehlssicherheit die Genauigkeit erhöhte und gleichzeitig 5- bis 18-mal schneller war.

Nikhil Mudholkar, CTO von Bryo AI, verglich die Klassifizierung von Geschäftsmails mit Gemini. In seinen Tests war die Genauigkeit von Gemini etwas höher, während die Kosten bei Jev etwa ein Zehntel bis ein Zwanzigstel betrugen. Besonders schätzte er, dass jede Entscheidung mit einer praktischen Wahrscheinlichkeit versehen war, was es erleichtert, Fälle mit geringer Sicherheit an Menschen weiterzuleiten.

Armin Ronacher, der an Open-Source-Modellplattformen beteiligt ist, weist darauf hin, dass die Verantwortung für den Umgang mit Wahrscheinlichkeiten bei den Nutzern liegt. Soll bei 50 % die Verarbeitung gestoppt werden oder darf bei 95 % automatisch ausgeführt werden? Diese Grenze wird nicht vom Modell festgelegt. Jev zeigt Unsicherheiten, aber wie diese in Geschäftsregeln umgewandelt werden, muss vom einführenden Unternehmen entworfen werden.

Diese Berichte in den sozialen Medien sind als frühe Beispiele für das Potenzial von Jev interessant. Es handelt sich jedoch nicht um unabhängige Benchmarks unter einheitlichen Bedingungen, sondern um die Ergebnisse von Entwicklern, die es für spezifische Anwendungen getestet haben. Positive Reaktionen und allgemeine Leistungsnachweise müssen unterschieden werden.


Was bedeutet „keine Halluzinationen“?

Der Ausdruck „keine Halluzinationen“ im Zusammenhang mit Jev erfordert besondere Aufmerksamkeit.

Wenn die Ausgabeoptionen und Typen von Anfang an festgelegt sind, ist es prinzipiell einfacher, Probleme zu vermeiden, bei denen nicht existierende Elemente erstellt oder das Format während einer Erklärung zerstört wird. Da die Rückgaben auf Wahrheitswerte, Klassifizierungslabels, Zahlen und Wahrscheinlichkeiten beschränkt sind, ist die Möglichkeit, unlesbare Texte oder fiktive Funktionsaufrufe zu generieren, gering.

Allerdings garantiert ein korrektes Format nicht, dass der Inhalt der Entscheidung korrekt ist. Auch wenn eine „Rückerstattungsanfrage“ fälschlicherweise als „allgemeine Anfrage“ klassifiziert wird, bleibt das Ausgabeformat perfekt korrekt. TypeSafe garantiert hauptsächlich, dass es nicht von Schema oder Typ abweicht, aber nicht, dass es immer die richtige Antwort auf die Realität gibt.

Auch die Kalibrierung der Wahrscheinlichkeiten ist wichtig. Wenn ein Modell in vielen Fällen mit „90 %“ antwortet und tatsächlich etwa 90 % korrekt sind, ist die Wahrscheinlichkeit gut kalibriert. Umgekehrt, wenn es 90 % anzeigt, aber die Genauigkeit 60 % beträgt, kann es nicht als Sicherheitsventil für die Automatisierung verwendet werden. Es ist notwendig, dies kontinuierlich für jede Branche, Sprache, Eingabelänge und Datenveränderungen im Laufe der Zeit zu überprüfen.

Bei der Nutzung in japanischen Unternehmen sollten auch der Umgang mit Höflichkeit, verkürzten Ausdrücken, unternehmensspezifischen Begriffen und vagen Anfragen in der japanischen Sprache überprüft werden. Selbst wenn es bei englischen E-Mails gut abschneidet, bedeutet das nicht, dass es die gleiche Genauigkeit bei japanischen Callcenter-Aufzeichnungen oder Genehmigungsdokumenten erreicht.


Nicht die generative KI ersetzen, sondern daneben überwachen

Eine vielversprechende Anwendung von Jev besteht nicht nur darin, LLMs zu ersetzen, sondern auch als „Überwacher“ vor und nach der generativen KI zu fungieren.

Zum Beispiel, um zu beurteilen, ob eine Benutzeranfrage einen Befehl enthält, der darauf abzielt, geheime Informationen zu erhalten. Um zu überprüfen, ob die Aktionen, die ein KI-Agent ausführen möchte, gefährlich sind. Um zu bewerten, ob die generierte Antwort mit dem Gesprächsinhalt übereinstimmt oder gegen Verbote verstößt. Wenn ein leistungsstarkes LLM als Überwacher jedes Mal aufgerufen wird, steigen die Kosten und die Wartezeit, aber ein kostengünstiges und schnelles Entscheidungsmodell ermöglicht es, mehrere Überprüfungsstufen einzuführen.

Ein weiterer Anwendungsfall ist das „Model Routing“. Einfache Anfragen werden an ein kleines und kostengünstiges Modell weitergeleitet, schwierige Fragen an ein leistungsstarkes Modell, und Anfragen mit Bildern an ein multimodales Modell. Wenn ein teures LLM für die Verteilung verwendet wird, wird der Spareffekt verringert, aber mit einem Modell wie Jev kann eine detaillierte Auswahl am Eingang getroffen werden.

In Unternehmenssystemen ist es oft realistischer, verschiedene kleine Komponenten mit unterschiedlichen Stärken zu kombinieren, anstatt einem einzigen allmächtigen KI alle Prozesse zu überlassen, was Kosten, Geschwindigkeit und Auditing betrifft. Jev zielt darauf ab, eine „gemeinsame Entscheidungskomponente“ zu sein, die von den Nutzern nicht gesehen wird, aber in unzähligen Anwendungen intern aufgerufen wird.


Die Bedeutung des Namens „Jevons Paradox“

Der Name Jev leitet sich von dem Ökonomen William Stanley Jevons aus dem 19. Jahrhundert ab. Das Jevons-Paradoxon besagt, dass eine Steigerung der Ressourceneffizienz nicht zu Einsparungen führt, sondern die Nutzung ausweitet und den Gesamtverbrauch erhöht.

Wenn die Kosten für KI-Entscheidungen auf ein Hundertstel sinken, bedeutet das nicht unbedingt, dass Unternehmen ihre KI-Ausgaben um ein Hundertstel reduzieren. Es besteht die Möglichkeit, Hunderte oder Tausende von Entscheidungsprozessen in Szenarien einzuführen, die bisher zu teuer waren. Denn es wird möglich, bei jeder Anfrage, Transaktion, jedem Klick und jeder Agentenaktion „ein wenig intelligente Entscheidungen“ zu treffen.

Dies erhöht die Bequemlichkeit, bedeutet aber auch, dass Überwachung und automatische Auswahl an unsichtbare Orte ausgedehnt werden. Wenn es zur Klassifizierung von Bewerbern, zur Priorisierung von Kunden oder zur Erkennung von Missbrauch verwendet wird, können Fehler und Verzerrungen erhebliche Auswirkungen haben. Der Vorteil, dass es kostengünstig in großen Mengen verwendet werden kann, birgt das Risiko, dass dieselben Fehlentscheidungen in großem Umfang verstärkt werden.


Praktische Implementierungsschritte für japanische Unternehmen

In Japan beginnt die Einführung generativer KI oft mit internen Chats und Dokumentenerstellungshilfen. Modelle wie Jev eignen sich für die nächste Stufe. Aufgaben wie die Verteilung von Anfragen, die Priorisierung von Überwachungsalarmen, die Klassifizierung von Verkaufsfällen, die Inhaltsprüfung und die Genehmigung von KI-Agentenaktionen, die derzeit von Menschen durch Bildschirmbetrachtung durchgeführt werden.

Bei der Implementierung ist es sicherer, es nicht sofort automatisch auszuführen, sondern es zunächst parallel zu menschlichen Entscheidungen laufen zu lassen. Die Genauigkeit und Kalibrierung der Wahrscheinlichkeiten sollten mit Geschäftsdaten gemessen werden, und je größer der Verlust bei Fehlern, desto höher sollte die Automatisierungsschwelle sein. Fälle mit geringer Sicherheit sollten an Menschen zurückgegeben werden, und Modell- und Eingabedatenänderungen sollten kontinuierlich überwacht werden. Außerdem sollte dokumentiert werden, wer die Ausgabeoptionen definiert und wer die Schwellenwerte genehmigt hat.

Es ist wichtig, die Verantwortung nicht zu verwischen, indem man sagt „weil die KI entschieden hat“, sondern die Regeln, die die KI-Wahrscheinlichkeiten in Unternehmensentscheidungen umwandeln, erklären zu können. Die Stärke von Jev liegt darin, strukturierte Werte statt freier Texte zurückzugeben. Ob diese Stärke in Prüfungsfähigkeit umgesetzt werden kann, macht den Unterschied zwischen einem einfachen schnellen Klassifikator und einer vertrauenswürdigen Geschäftsbasis aus.


Das Hauptfeld der KI verlagert sich aus dem Sichtfeld

Jev ist nicht dazu gedacht, Gesprächs-KIs wie ChatGPT zu ersetzen. Bei der Erstellung von Texten, Dialogen, komplexen Schlussfolgerungen und kreativen Arbeiten ist die Flexibilität von LLMs unverzichtbar. Andererseits kann bei kleinen Entscheidungen, die millionenfach innerhalb von Software wiederholt werden, die Flexibilität eher hinderlich sein.

Die grundlegende Frage, die Jev aufwirft, ist nicht „welche KI ist die klügste“, sondern „ist die Textgenerierung für diese Aufgabe wirklich notwendig“. Wenn die benötigte Antwort aus wenigen Optionen und Wahrscheinlichkeiten besteht, gibt es wenig Grund, jedes Mal ein großes Gesprächsmodell aufzurufen.

In Zukunft werden ähnliche Modelle und Konkurrenzprodukte zunehmen, und unabhängige Drittbewertungen werden voranschreiten. Auch die geheimnisvolle Architektur von Jev, die Behauptung, nur mit synthetischen Daten trainiert zu haben, und die Nachhaltigkeit der Preise müssen überprüft werden. Dennoch ist die Sichtweise überzeugend, dass die Zukunft der KI nicht nur in auffälligen Chat-Oberflächen liegt, sondern sich in unscheinbaren Prozessen wie Bedingungsabfragen, Überwachung, Klassifizierung und Verteilung entfaltet.

Die nächste KI-Revolution wird nicht unbedingt mit uns sprechen. Sie wird so schnell sein, dass wir es nicht bemerken, und im Hintergrund der Software entscheiden, „was als nächstes zu tun ist“. An der Spitze dieser stillen Veränderung steht Jev.


Reaktionen in den sozialen Medien

Die im Text vorgestellten Reaktionen in den sozialen Medien basieren auf individuellen Tests von Entwicklern, die kurz nach der Veröffentlichung gepostet wurden, sowie auf Recherchen und Zitaten von TechCrunch. Die Bewertungen von Geschwindigkeit, Preis und Wahrscheinlichkeitsausgaben sind stark, aber da es sich nicht um unabhängige groß angelegte Tests unter denselben Bedingungen handelt, müssen sie mit den Produktionsdaten der jeweiligen Unternehmen neu bewertet werden.


Quellen-URL

Verwandte Artikel