Schnelle lokale Auswertung
Die lokalen Vision-Algorithmen von Repeato übernehmen häufige Interaktionen, visuellen Abgleich und Regressionstests mit schnellem Feedback, vorhersehbarem Verhalten und ohne Kosten pro Modellanfrage.
Google Gemini · Spitzenmodell · 2026-08-13
Vision-Benchmark für Gemini 3.1 Pro Preview
So hat Gemini 3.1 Pro Preview bei screenshotbasierten Aufgaben zu UI-Grounding, Elementpräsenz und sichtbaren Layoutfehlern für die Testautomatisierung abgeschnitten.
Exaktes API-Modellgoogle/gemini-3.1-pro-preview
Die Anfragen wurden über OpenRouter an die Infrastruktur von Google AI Studio gebunden. Fallbacks waren für jede gespeicherte Anfrage deaktiviert.
Trefferquote beim Grounding88%
Mittlere Box-IoU0.632
Genauigkeit beim Vorhandensein92%
Genauigkeit bei Fehlern92%
Gesamtergebnis
Gemini 3.1 Pro Preview bei allen drei UI-Aufgaben
Gemini 3.1 Pro Preview traf 21 von 24 angeforderten UI-Zielen. Die ausgewogene Genauigkeit betrug 92 % bei der Elementpräsenz und 92 % bei der Erkennung von Layoutfehlern.
Dieser zeitlich begrenzte Pilotversuch umfasste 24 Grounding- und 24 Erkennungsantworten. Keine Erkennungsanfrage schlug fehl. Die Ergebnisse beschreiben dieses konkrete API-Modell und den Testkorpus, nicht die allgemeine Modellqualität oder ein Consumer-Chat-Produkt.
Relative Leistung
Position von Gemini 3.1 Pro Preview unter den getesteten Modellen
Jede Skala vergleicht das ausgewählte Modell mit dem stärksten und schwächsten anderen Modell. Alle drei Kennzahlen stammen aus demselben abgeschlossenen Grounding-Lauf mit 24 Fällen; stärker ist immer weiter rechts.
Box-IoUHöher ist stärker
0.632- Schwächstes anderes Modell
- Claude Sonnet 50.043
- Stärkstes anderes Modell
- GPT-5.6 Luna0.771
GeschwindigkeitGeringere Latenz ist besser
11.89 s- Schwächstes anderes Modell
- Claude Opus 54.24 s
- Stärkstes anderes Modell
- Grok 4.51.67 s
KostenGeringere Gesamtkosten sind besser
$0.0726- Schwächstes anderes Modell
- Claude Opus 5$0.2474
- Stärkstes anderes Modell
- GPT-5.6 Luna$0.0057
UI-Verankerung
Kann Gemini 3.1 Pro Preview interaktive Elemente finden?
24 Ziele erstrecken sich über sechs deterministische Desktop- und Mobilbildschirme. Ein schema-valider Punkt innerhalb des angeforderten Ziels zählt als Treffer; die Box-IoU misst die Lokalisierungspräzision.
Erkennungsergebnisse
Vorhandensein und sichtbare Layoutfehler
Separate balancierte Aufgaben messen, ob das Modell nicht vorhandene Elemente zurückweist und saubere Steuerelemente von Screenshots mit einem gezielt eingefügten Layoutfehler unterscheidet.
Kann das Modell erkennen, wenn ein Element nicht vorhanden ist?
Sechs vorhandene und sechs nicht vorhandene Zielabfragen pro Modell. Dieser Track misst ausschließlich die Klassifizierung.
Balancierte Genauigkeit92%
Recall für vorhandene Elemente100%
Spezifität für nicht vorhandene Elemente83%
Abdeckung12/12
Kann das Modell zwischen sauberen und fehlerhaften Layouts unterscheiden?
Sechs saubere Steuerelemente und sechs Screenshots mit jeweils einem gezielt eingefügten Fehler pro Modell. Transportfehler bleiben Betriebsfehler und zählen nicht als Genauigkeitsergebnisse.
Balancierte Genauigkeit92%
Fehlererkennung100%
Spezifität bei sauberen Layouts83%
Abdeckung12/12
Warum diese Forschung wichtig ist
Für jeden Test die richtige Art von Computer Vision verwenden
Moderne Vision-LLMs können komplexe visuelle Bedeutungen erfassen, sind aber für jeden Testschritt noch zu langsam und teuer. Diese Forschung hilft uns zu erkennen, wann ihre semantischen Fähigkeiten diesen Kompromiss rechtfertigen.
Semantisches Schlussfolgern bei Bedarf
Moderne Vision-LLMs sind bei komplexeren Fragen hilfreich: beim Verstehen von Bedeutungen, Prüfen dynamischer Inhalte, Beschreiben von Fehlern oder Bewerten von Konzepten, die sich nicht durch einen einfachen visuellen Fingerabdruck erfassen lassen.
Ein evidenzbasierter Hybridansatz
Der Vergleich von Genauigkeit, Latenz, Zuverlässigkeit und Kosten hilft uns zu entscheiden, welche Prüfungen lokal bleiben sollten und welche ausreichend von einem LLM profitieren, um eine langsamere und teurere Auswertung zu rechtfertigen.
Unsere Produktstrategie
Den gesamten Vision-Benchmark ansehen →Repeatos lokale Computer Vision als schnelles Fundament nutzen und moderne Vision-LLMs gezielt für komplexe oder semantische Schlussfolgerungen einsetzen, wenn sie einen spürbaren zusätzlichen Nutzen bieten.
Testabdeckung
Sechs Bildschirme, drei Aufgabentypen
Jedes Modell wird anhand desselben eingefrorenen Korpus, derselben Prompts und Antwortschemata sowie einer normalisierten Geometrie von 0–1000 bewertet.
Commerce-Katalog
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch abgeschnittenen Containerinhalt.
Analytics-Dashboard
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch überlaufenden Text.
IoT-Steuerzentrale
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch überlappende Elemente.