Schnelle lokale Auswertung
Die lokalen Vision-Algorithmen von Repeato übernehmen häufige Interaktionen, visuellen Abgleich und Regressionstests mit schnellem Feedback, vorhersehbarem Verhalten und ohne Kosten pro Modellanfrage.
OpenAI GPT · Spitzenmodell · 2026-08-13
GPT-5.6-Sol-Vision-Benchmark
So hat GPT-5.6 Sol bei screenshotbasierten Aufgaben zu UI-Grounding, Element-Präsenz und sichtbaren Layout-Fehlern für die Testautomatisierung abgeschnitten.
Exaktes API-Modellopenai/gpt-5.6-sol
Die Anfragen wurden über OpenRouter an die OpenAI-Infrastruktur gebunden. Fallbacks waren für jede beibehaltene Anfrage deaktiviert.
Trefferquote beim Grounding96%
Mittlere Box-IoU0.677
Genauigkeit beim Vorhandensein100%
Genauigkeit bei Fehlern92%
Gesamtergebnis
GPT-5.6 Sol bei allen drei UI-Aufgaben
GPT-5.6 Sol traf 23 von 24 angeforderten UI-Zielen. Die ausgeglichene Genauigkeit lag bei 100 % für die Element-Präsenz und 92 % für die Erkennung von Layout-Fehlern.
Dieser zeitlich begrenzte Pilotversuch umfasste 24 Grounding- und 24 Erkennungsantworten. Keine Erkennungsanfrage schlug fehl. Die Ergebnisse beschreiben dieses konkrete API-Modell und den Testkorpus, nicht die allgemeine Modellqualität oder ein Consumer-Chat-Produkt.
Relative Leistung
GPT-5.6 Sol im Vergleich zu den getesteten Modellen
Jede Skala vergleicht das ausgewählte Modell mit dem stärksten und schwächsten anderen Modell. Alle drei Kennzahlen stammen aus demselben abgeschlossenen Grounding-Lauf mit 24 Fällen; stärker ist immer weiter rechts.
Box-IoUHöher ist stärker
0.677- Schwächstes anderes Modell
- Claude Sonnet 50.043
- Stärkstes anderes Modell
- GPT-5.6 Luna0.771
GeschwindigkeitGeringere Latenz ist besser
3.23 s- Schwächstes anderes Modell
- Gemini 3.1 Pro Preview11.89 s
- Stärkstes anderes Modell
- Grok 4.51.67 s
KostenGeringere Gesamtkosten sind besser
$0.2453- Schwächstes anderes Modell
- Claude Opus 5$0.2474
- Stärkstes anderes Modell
- GPT-5.6 Luna$0.0057
UI-Verankerung
Kann GPT-5.6 Sol interaktive Elemente finden?
24 Ziele erstrecken sich über sechs deterministische Desktop- und Mobilbildschirme. Ein schema-valider Punkt innerhalb des angeforderten Ziels zählt als Treffer; die Box-IoU misst die Lokalisierungspräzision.
Erkennungsergebnisse
Vorhandensein und sichtbare Layoutfehler
Separate balancierte Aufgaben messen, ob das Modell nicht vorhandene Elemente zurückweist und saubere Steuerelemente von Screenshots mit einem gezielt eingefügten Layoutfehler unterscheidet.
Kann das Modell erkennen, wenn ein Element nicht vorhanden ist?
Sechs vorhandene und sechs nicht vorhandene Zielabfragen pro Modell. Dieser Track misst ausschließlich die Klassifizierung.
Balancierte Genauigkeit100%
Recall für vorhandene Elemente100%
Spezifität für nicht vorhandene Elemente100%
Abdeckung12/12
Kann das Modell zwischen sauberen und fehlerhaften Layouts unterscheiden?
Sechs saubere Steuerelemente und sechs Screenshots mit jeweils einem gezielt eingefügten Fehler pro Modell. Transportfehler bleiben Betriebsfehler und zählen nicht als Genauigkeitsergebnisse.
Balancierte Genauigkeit92%
Fehlererkennung83%
Spezifität bei sauberen Layouts100%
Abdeckung12/12
| Lokalisierungs-IoU | |||||||
|---|---|---|---|---|---|---|---|
| Commerce-Katalog Desktop / sauber / Layoutfehler | Gültig | Richtig | Nicht zutreffend | — | 26.99 s | $0.0129 | |
| Commerce-Katalog Desktop / Fehler / Layoutfehler | Gültig | Richtig | Richtig | 0.213 | 15.88 s | $0.0183 | |
| Analytics-Dashboard Desktop / sauber / Layoutfehler | Gültig | Richtig | Nicht zutreffend | — | 8.53 s | $0.0128 | |
| Analytics-Dashboard Desktop / Fehler / Layoutfehler | Gültig | Richtig | Richtig | 0.165 | 12.68 s | $0.0180 | |
| IoT-Steuerung Desktop / sauber / Layoutfehler | Gültig | Richtig | Nicht zutreffend | — | 7.26 s | $0.0128 | |
| IoT-Steuerung Desktop / Fehler / Layoutfehler | Gültig | Richtig | Richtig | 0.078 | 9.01 s | $0.0153 | |
| Banking iOS / sauber / Layoutfehler | Gültig | Richtig | Nicht zutreffend | — | 8.29 s | $0.0072 | |
| Banking iOS / Fehler / Layoutfehler | Ungültig | Falsch | Falsch | 0.000 | 16.93 s | Nicht verfügbar | |
| Flugpass iOS / sauber / Layoutfehler | Gültig | Richtig | Nicht zutreffend | — | 7.86 s | $0.0055 | |
| Flugpass iOS / Fehler / Layoutfehler | Gültig | Richtig | Richtig | 0.359 | 10.07 s | $0.0087 | |
| Smart Home Android / sauber / Layoutfehler | Gültig | Richtig | Nicht zutreffend | — | 8.11 s | $0.0047 | |
| Smart Home Android / Fehler / Layoutfehler | Gültig | Richtig | Falsch | 0.000 | 11.32 s | $0.0122 | |
Warum diese Forschung wichtig ist
Für jeden Test die richtige Art von Computer Vision verwenden
Moderne Vision-LLMs können komplexe visuelle Bedeutungen erfassen, sind aber für jeden Testschritt noch zu langsam und teuer. Diese Forschung hilft uns zu erkennen, wann ihre semantischen Fähigkeiten diesen Kompromiss rechtfertigen.
Semantisches Schlussfolgern bei Bedarf
Moderne Vision-LLMs sind bei komplexeren Fragen hilfreich: beim Verstehen von Bedeutungen, Prüfen dynamischer Inhalte, Beschreiben von Fehlern oder Bewerten von Konzepten, die sich nicht durch einen einfachen visuellen Fingerabdruck erfassen lassen.
Ein evidenzbasierter Hybridansatz
Der Vergleich von Genauigkeit, Latenz, Zuverlässigkeit und Kosten hilft uns zu entscheiden, welche Prüfungen lokal bleiben sollten und welche ausreichend von einem LLM profitieren, um eine langsamere und teurere Auswertung zu rechtfertigen.
Unsere Produktstrategie
Den gesamten Vision-Benchmark ansehen →Repeatos lokale Computer Vision als schnelles Fundament nutzen und moderne Vision-LLMs gezielt für komplexe oder semantische Schlussfolgerungen einsetzen, wenn sie einen spürbaren zusätzlichen Nutzen bieten.
Testabdeckung
Sechs Bildschirme, drei Aufgabentypen
Jedes Modell wird anhand desselben eingefrorenen Korpus, derselben Prompts und Antwortschemata sowie einer normalisierten Geometrie von 0–1000 bewertet.
Commerce-Katalog
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch abgeschnittenen Containerinhalt.
Analytics-Dashboard
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch überlaufenden Text.
IoT-Steuerzentrale
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch überlappende Elemente.