GPT-5.6 Luna führend bei UI-Grounding
Das Modell erreichte alle 24 Ziele und erzielte mit 0,771 die höchste durchschnittliche Box-IoU. Außerdem hatte es in diesem Durchlauf mit 0,0057 $ die niedrigsten gemeldeten Grounding-Kosten.
Repeato-Forschung · LLM-Vision-Benchmark
Kann man multimodalen LLMs UI-Tests anvertrauen?
Ein ausschließlich auf Screenshots basierender Benchmark für UI-Testautomatisierung: interaktive Elemente finden, das Fehlen eines Elements erkennen, sichtbare Layoutfehler identifizieren und die operativen Kosten einer Antwort erfassen.
Pilotausgabe2026-08-13
Sechs deterministische Screens. Vierundzwanzig Grounding-Ziele. 9 API-Modelle. Ein fokussierter Pilot, kein Ranking.
Screens6
Grounding-Ziele24
Fehlerkategorien6
Modelle9
Erkenntnisse aus dem Pilotprojekt
Was diese Ausgabe zeigt
Diese Erkenntnisse beschreiben pro Fall eine beibehaltene Antwort auf einem kleinen synthetischen Korpus. Sie liefern nützliche Signale für die nächste Ausgabe, sind aber weder allgemeine Modellrankings noch Aussagen zur Stabilität.
Elementerkennung nahezu ausgeschöpft
8 von 9 Modellen erreichten eine balancierte Genauigkeit von 100 %. Der Track eignet sich als Plausibilitätsprüfung für fehlende Elemente, unterscheidet in dieser Pilotversion jedoch die meisten Modelle kaum.
Grok 4.5 führend bei der Fehlererkennung
Es war das einzige Modell mit einer balancierten Genauigkeit von 100 % bei fehlerfreien und fehlerhaften Layouts. Die Genauigkeit bei Fehlerkategorien lag bei 67 % – ein Problem zu erkennen und es präzise zu benennen, sind unterschiedliche Aufgaben.
Was das für die Testautomatisierung bedeutet
Verwende für jeden Testschritt die passende Art von Vision
Exakte Interaktion, kontinuierliche Beobachtung und semantische Interpretation stellen unterschiedliche Leistungsanforderungen. Es sollte nicht erwartet werden, dass eine einzige Computer-Vision-Technik alle drei Bereiche optimiert.
Lokale BeobachtungBis zu 20-mal pro SekundeLLM-AnfrageOft 2–10 SekundenWie wir lokale Vision und LLMs kombinierenAnalyse einklappen
Die lokale Computer-Vision-Schleife von Repeato kann den Bildschirm mit 20 Hz prüfen – einmal alle 50 ms. Eine Anfrage an ein Vision-Language-Modell benötigt für Bildübertragung, Inferenz und Netzwerk-Roundtrip üblicherweise 2–10 Sekunden. Dieser Unterschied ist entscheidend, wenn ein Test das Erscheinen eines Elements erkennen, auf das Ende einer Bewegung warten oder reagieren muss, bevor ein flüchtiger Zustand verschwindet.
Schnelles Feedback bei wiederholten Interaktionen
Lokale visuelle Fingerabdrücke können kontinuierlich nach aufgezeichneten Zielen suchen und handeln, sobald der Bildschirm bereit ist. Remote-Modellanfragen in derselben Frequenz zu wiederholen, wäre unpraktisch.
Planbar, privat und kostengünstig
Lokales Matching erfordert weder einen Netzwerk-Roundtrip noch die Verfügbarkeit eines Anbieters und verursacht keine API-Kosten pro Anfrage. Bildschirme bleiben auf dem Arbeitsplatzrechner, und derselbe Algorithmus kann offline ausgeführt werden.
KI für Fragen, die Matching nicht beantworten kann
Die LLM-Bildverarbeitung spielt ihre Latenz aus, wenn ein Test eine semantische Beurteilung benötigt: Texte oder Zahlen interpretieren, dynamische Inhalte verstehen oder Konzepte wie einen Aufwärtstrend in einem Diagramm prüfen.
Praktische Aufteilung
Nutze lokale Computer Vision für die hochfrequente Steuerschleife – Ziele finden, warten, interagieren und visuell vergleichen. Wechsle gezielt zu KI-Vision, wenn die Prüfung tatsächlich Sprachverständnis oder semantisches Verständnis erfordert.
Experimente
Drei eigenständige UI-Vision-Aufgaben
Grounding, Elementvorhandensein und UI-Integrität beantworten unterschiedliche Fragen und verwenden separate Metriken. Der Pilot fasst sie nicht zu einer Gesamtbewertung zusammen.
Experiment 1 · UI-Grounding
Kann ein Modell das angeforderte UI-Element finden?
Jedes Modell erhielt 24 interaktive Ziele auf sechs fehlerfreien Pilot-Screens. Ein schema-valider Punkt innerhalb des Ziels zählt als Treffer; Box-IoU misst die Lokalisierungspräzision. Erweitere eine Zeile für Ergebnisse auf Szenarioebene.
- Holo3 122B A10B0.478
- Grok 4.50.445
- GPT-5.40.528
- Gemini 3.6 Flash0.645
- GPT-5.6 Sol0.677
- GPT-5.6 Luna0.771
- Claude Sonnet 50.043
- Claude Opus 50.314
- Gemini 3.1 Pro Preview0.632
- Holo3 122B A10B$0.0126
- Grok 4.5$0.0669
- GPT-5.4$0.1196
- Gemini 3.6 Flash$0.0637
- GPT-5.6 Sol$0.2453
- GPT-5.6 Luna$0.0057
- Claude Sonnet 5$0.0990
- Claude Opus 5$0.2474
- Gemini 3.1 Pro Preview$0.0726
- Holo3 122B A10B1.68 s
- Grok 4.51.67 s
- GPT-5.42.99 s
- Gemini 3.6 Flash1.83 s
- GPT-5.6 Sol3.23 s
- GPT-5.6 Luna3.55 s
- Claude Sonnet 53.91 s
- Claude Opus 54.24 s
- Gemini 3.1 Pro Preview11.89 s
Abwägung zwischen Genauigkeit, Kosten und LatenzHöher und weiter links ist besser. Die Farbe zeigt die mittlere Antwortlatenz.
1,67 s schnell11,89 s langsam
Methodik
So wird UI-Grounding bewertet
Vier Ziele pro Screenshot aus gängigen interaktiven UI-Elementtypen.
Punktgenauigkeit
Der vorhergesagte Klickpunkt liegt innerhalb der Zielbox.
Boxgenauigkeit
Mittlere IoU und Anteil der Vorhersagen mit IoU ≥ 0,5.
Gültigkeit
Rate schema-valider Antworten; ein Durchlauf ergibt keinen Stabilitätswert.
Experiment 2 · Elementvorhandensein
Kann ein Modell erkennen, wenn ein Element nicht vorhanden ist?
Eine ausgewogene Aufgabe prüft, ob Modelle plausibel wirkende, nicht vorhandene Elemente ablehnen, statt sie selbstbewusst zu erfinden.
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 1.29 s | $0.3636pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 7.45 s | $0.1414pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 7.55 s | $3.2402pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 7.82 s | $2.3426pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 9.85 s | $7.4788pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 7.50 s | $2.2346pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 9.27 s | $2.9915pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 0% | 7.79 s | $7.0680pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 92% | 100% | 83% | 17% | 15.01 s | $2.3602pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Ein Durchlauf pro Fall; keine Konfidenzintervalle oder Stabilitätsaussagen. Die Gesamtkosten werden auf 1.000 beibehaltene Fälle hochgerechnet, damit unvollständige Durchläufe nicht künstlich günstig erscheinen. Zeilen mit weniger als 12 Antworten enthalten weiterhin eine kleinere Fallauswahl und sind nicht direkt mit vollständigen Zeilen vergleichbar.
Methodik
So wird das Elementvorhandensein bewertet
Pro fehlerfreiem Bildschirm eine bekanntermaßen vorhandene und eine plausible, aber nicht vorhandene Abfrage.
Erkennung
Die ausgewogene Genauigkeit gewichtet vorhandene und nicht vorhandene Fälle gleich.
Klassenverhalten
Recall, Spezifität und Falsch-Positiv-Rate zeigen die Fehlerrichtung.
Nur boolesch
found=true oder found=false; kein Lokalisierungswert.
Experiment 3 · UI-Integrität
Kann ein Modell zwischen intakten und fehlerhaften Layouts unterscheiden?
Gepaarte, intakte Steuerelemente und gezielt eingebaute Fehler prüfen Erkennung, Fehlerklassifizierung und Lokalisierung, ohne diese Ergebnisse mit Grounding zu vermischen.
Abwägung zwischen Fehlergenauigkeit, Kosten und LatenzHöher und weiter links ist besser. Die Farbe zeigt die mittlere Antwortlatenz.
2,44 s schnell21,75 s langsam
| 67 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 58% | 17% | 100% | 0% | 2.44 s | $0.8251pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 92 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 83% | 67% | 100% | 50% | 8.36 s | $0.2389pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 92% | 83% | 100% | 67% | 9.02 s | $5.2075pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 75 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 75% | 83% | 67% | 67% | 8.43 s | $3.8341pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 83 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 83% | 67% | 100% | 67% | 10.15 s | $11.5029pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 100% | 100% | 100% | 67% | 7.40 s | $2.7465pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 92 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 83% | 83% | 83% | 67% | 10.52 s | $4.7403pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 92 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 92% | 83% | 100% | 67% | 11.91 s | $11.6632pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 100 % gültig12/12 Fälle · 0 fehlgeschlagene Versuche | 92% | 100% | 83% | 67% | 21.75 s | $3.0450pro 1.000 beibehaltene Fälle | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Ein Durchlauf pro Fall; keine Konfidenzintervalle oder Stabilitätsaussagen. Die Gesamtkosten werden auf 1.000 beibehaltene Fälle hochgerechnet, damit unvollständige Durchläufe nicht künstlich günstig erscheinen. Zeilen mit weniger als 12 Antworten enthalten weiterhin eine kleinere Fallauswahl und sind nicht direkt mit vollständigen Zeilen vergleichbar.
Methodik
So wird die UI-Integrität bewertet
Gepaarte fehlerfreie und fehlerhafte Szenen decken sechs objektive Arten von Layout-Fehlern ab.
Erkennung
Ausgewogene Genauigkeit, Recall, Spezifität und Falsch-Positiv-Rate.
Klassifizierung
Genauigkeit der Fehlerkategorie nach erfolgreicher Erkennung.
Lokalisierung
IoU der vorhergesagten Box im Vergleich zu browserbasierten Fehlerregionen.
Unveränderter Datensatz
Drei Desktop- und drei mobile Bildschirme
Jede Testvorrichtung verfügt über eine fehlerfreie Kontrolle und eine absichtlich fehlerhafte Variante. Die Aufnahmen nutzen feste Viewports, lokale Assets, stabile Zielgeometrie und exakte Grenzen für Pixeldifferenzen.
Modelldossiers
Eine Belegseite pro Modell
Öffne eine Modellseite für die Grounding-, Elementvorhandenseins-, Layoutfehler-, Latenz-, Zuverlässigkeits- und Kostenergebnisse. Die Routen bleiben auf den genannten Upstream-Anbieter festgelegt, Fallbacks sind deaktiviert.
H Company Holo · FlaggschiffHolo3 122B A10BVollständige Benchmark-Ergebnisse →xAI Grok · Einzelne StufeGrok 4.5Vollständige Benchmark-Ergebnisse →OpenAI GPT · ZusätzlichGPT-5.4Vollständige Benchmark-Ergebnisse →Google Gemini · EffizientGemini 3.6 FlashVollständige Benchmark-Ergebnisse →OpenAI GPT · FlaggschiffGPT-5.6 SolVollständige Benchmark-Ergebnisse →OpenAI GPT · EffizientGPT-5.6 LunaVollständige Benchmark-Ergebnisse →Anthropic Claude · EffizientClaude Sonnet 5Vollständige Benchmark-Ergebnisse →Anthropic Claude · FlaggschiffClaude Opus 5Vollständige Benchmark-Ergebnisse →Google Gemini · FlaggschiffGemini 3.1 Pro PreviewVollständige Benchmark-Ergebnisse →
Methodik
Messen, was das Modell tatsächlich sieht
Die Abschnitte zu den Experimenten dokumentieren ihre jeweiligen Bewertungsregeln. Diese gemeinsame Methodik behandelt den gemeinsamen Eingabevertrag, Provider-Abläufe, den Forschungskontext und die Grenzen.
EingabeNur Screenshot
Geometrie0–1000
DurchläufeEiner pro Fall
BewertungSeparate Metriken
Eingabevertrag
Nur Screenshot
Prompttext plus ein Base64-PNG – kein DOM, kein Barrierefreiheitsbaum, kein Quelltext, keine OCR, Tools, Plugins oder Websuche.
Festes Rendering
Chromium mit 1440 × 900 oder 390 × 844; Geräte-Skalierungsfaktor 1.
Normalisierte Geometrie
Browserbasierte Ground Truth in einem Koordinatenraum von 0–1000.
Stabile Paare
Fehlerfreie und fehlerhafte Varianten bewahren die Zielgeometrie und Capture-Hashes.
Vorgänge
Anbieter-Verhalten sichtbar halten
Fixierte Modell-IDs, First-Party-Routen, deaktivierte Fallbacks und ein Antwortvertrag.
Wiederholungsrichtlinie
Ein Wiederholungsversuch bei 429, 5xx oder Netzwerkfehlern – nicht bei falschen Antworten.
Betriebsmetriken
Latenz, Fehler, Wiederholungsversuche und Kosten bleiben von der Genauigkeit getrennt.
Datenschutz
Veröffentlichte Datensätze enthalten weder Schlüssel noch Anfragekennungen der Anbieter.
Limits, Daten und Lizenz
Ein Pilot, keine Rangliste
Sechs synthetische Screens, ein Durchlauf pro Fall und 24 Zielvorgaben können keine allgemeine Überlegenheit oder Stabilität belegen. Die Ergebnisse werden veröffentlicht, damit der Umfang und die einzelnen Antworten überprüfbar bleiben.
Jede Ausgabe enthält die exakten Modell-IDs, Datumsangaben, Prompt- und Schema-Hashes, Endpoint-Steuerungen sowie bereinigte Versuche, da sich Anbieter ändern. In den Rohaufzeichnungen der Modelle fehlen API-Schlüssel, Request-IDs und Generierungs-IDs.
Von Repeato erstellte Screenshots, Annotationen, Manifeste und aggregierte Ergebnisse sind verfügbar unter CC BY 4.0. Siehe die Hinweis zur Benchmark-Lizenz. Rohe Modellausgaben unterliegen weiterhin den Bedingungen ihrer Anbieter.