Googles neues Gemini-Modell kann 1.000 Fragen auf einmal bewerten, ohne eine Antwort zu schreiben
Google hat ein Gemini-Modell vorgestellt, das bis zu 1.000 Fragen zu derselben Eingabe in einer Anfrage bewerten kann. Gemini Decision 1 verarbeitet Text, Bilder, Audio, Video und PDFs und liefert Konfidenzwerte für vorgegebene Antwortoptionen, statt eine dialogorientierte Antwort zu formulieren.
Die neue Gemini Decisions API richtet sich an Entwickler, die Anwendungen erstellen, und ist kein neuer Modus im Consumer-Chatbot Gemini. Laut Google ist sie über die Gemini API in Google AI Studio verfügbar.
Beispielsweise könnte eine Anwendung ein Bild und eine Textnotiz übermitteln, dann fragen, ob eine Verschüttung vorliegt, eine Antwort aus einer vorgegebenen Liste auswählen und den Schweregrad der Verschüttung bewerten. Das Modell liefert Wahrscheinlichkeiten, anhand derer Software entscheiden kann, wann ein unsicheres Ergebnis an eine Person weitergegeben werden sollte.
Googles Diagramm beschreibt, wie die Decisions API Optionen bewertet, statt eine frei formulierte Antwort zu generieren. Bild: Google
Eine Eingabe, mehrere Entscheidungen
In der Ankündigung erklärt Google, dass eine Anfrage eine gemeinsame multimodale Eingabe von bis zu 256.000 Token und bis zu 1.000 unabhängige Fragen umfassen kann. Unterstützt werden Ja/Nein-Bewertungen, Multiple-Choice-Fragen und Bewertungen anhand eines geordneten Bewertungsrasters.
Bei Multiple-Choice-Fragen können Entwickler laut Google zwischen zwei und 255 Antwortmöglichkeiten vorgeben. Die API gibt eine ausgewählte Option sowie Wahrscheinlichkeiten für die Kandidaten zurück. Ein Konfidenzwert ist ein Signal für den Umgang mit einem Ergebnis, kein Beweis dafür, dass die ausgewählte Antwort korrekt ist.
Dieser Unterschied ist wichtig für Anwendungsfälle wie die Inhaltsprüfung oder die Weiterleitung einer Kundenanfrage. Entwickler müssen das System weiterhin mit dem Material testen, dem es später begegnet, und festlegen, wann eine Person oder ein anderes System das Ergebnis prüfen sollte.
Die von Google veröffentlichten Vergleiche sind unternehmenseigene Messungen und keine Garantie für die Leistung in der Praxis. Bild: Google
Geschwindigkeit und Kosten sind an Bedingungen geknüpft
Google gibt einen Preis von 0,10 US-Dollar pro Million Input-Tokens an; Output-Tokens werden nicht berechnet. Dabei handelt es sich um einen Preis pro Input-Token, nicht um eine Pauschale für 1.000 Fragen oder für jedes Dokument. Die Kosten einer Anfrage hängen von der Menge und der Art der verarbeiteten Eingabe ab.
Für Kontexte bis 16.000 Token gibt das Unternehmen unter den von ihm beschriebenen Bedingungen eine mediane End-to-End-Latenz von 150 bis 250 Millisekunden an. Die maximal unterstützte Eingabe ist größer, aber die Ankündigung verspricht nicht dieselbe Latenz für jede Anfrage in maximaler Größe.
Google veröffentlicht außerdem Vergleiche mit anderen Modellen auf selbst gewählten Benchmarks. Dabei handelt es sich um eigene Messungen. Entwickler, die einen Wechsel erwägen, sollten Genauigkeit, Geschwindigkeit und Kosten mit repräsentativen Aufgaben testen, statt die Diagramme als Garantie zu betrachten.
Die Ankündigung enthält Beispiele und Links zu Googles Entwicklerdokumentation. Wer einen Workflow aufbaut, kann Fragetypen für eine einzige Eingabe kombinieren. Nutzer der regulären Gemini-App sollten nicht davon ausgehen, dass dieser Entwickler-Endpunkt ihr Chatbot-Erlebnis verändert.
