Schnelle lokale Auswertung
Die lokalen Vision-Algorithmen von Repeato übernehmen häufige Interaktionen, visuellen Abgleich und Regressionstests mit schnellem Feedback, vorhersehbarem Verhalten und ohne Kosten pro Modellanfrage.
Anthropic Claude · Effizient · 2026-08-13
Vision-Benchmark für Claude Sonnet 5
So schnitt Claude Sonnet 5 bei screenshotbasierten UI-Grounding-Aufgaben, Prüfungen des Elementvorhandenseins und der Erkennung sichtbarer Layoutfehler ab, die für die Testautomatisierung relevant sind.
Exaktes API-Modellanthropic/claude-sonnet-5
Die Anfragen wurden über OpenRouter an die Anthropic-Infrastruktur gebunden. Fallbacks waren für jede gespeicherte Anfrage deaktiviert.
Trefferquote beim Grounding21%
Mittlere Box-IoU0.043
Genauigkeit beim Vorhandensein100%
Genauigkeit bei Fehlern83%
Gesamtergebnis
Claude Sonnet 5 bei allen drei UI-Aufgaben
Claude Sonnet 5 traf 5 von 24 angeforderten UI-Zielen. Die ausgewogene Genauigkeit betrug 100 % beim Elementvorhandensein und 83 % bei der Erkennung von Layoutfehlern.
Dieser zeitlich begrenzte Pilotversuch umfasste 24 Grounding- und 24 Erkennungsantworten. Keine Erkennungsanfrage schlug fehl. Die Ergebnisse beschreiben dieses konkrete API-Modell und den Testkorpus, nicht die allgemeine Modellqualität oder ein Consumer-Chat-Produkt.
Relative Leistung
Position von Claude Sonnet 5 unter den getesteten Modellen
Jede Skala vergleicht das ausgewählte Modell mit dem stärksten und schwächsten anderen Modell. Alle drei Kennzahlen stammen aus demselben abgeschlossenen Grounding-Lauf mit 24 Fällen; stärker ist immer weiter rechts.
Box-IoUHöher ist stärker
0.043- Schwächstes anderes Modell
- Claude Opus 50.314
- Stärkstes anderes Modell
- GPT-5.6 Luna0.771
GeschwindigkeitGeringere Latenz ist besser
3.91 s- Schwächstes anderes Modell
- Gemini 3.1 Pro Preview11.89 s
- Stärkstes anderes Modell
- Grok 4.51.67 s
KostenGeringere Gesamtkosten sind besser
$0.0990- Schwächstes anderes Modell
- Claude Opus 5$0.2474
- Stärkstes anderes Modell
- GPT-5.6 Luna$0.0057
UI-Verankerung
Kann Claude Sonnet 5 bedienbare Elemente lokalisieren?
24 Ziele erstrecken sich über sechs deterministische Desktop- und Mobilbildschirme. Ein schema-valider Punkt innerhalb des angeforderten Ziels zählt als Treffer; die Box-IoU misst die Lokalisierungspräzision.
Erkennungsergebnisse
Vorhandensein und sichtbare Layoutfehler
Separate balancierte Aufgaben messen, ob das Modell nicht vorhandene Elemente zurückweist und saubere Steuerelemente von Screenshots mit einem gezielt eingefügten Layoutfehler unterscheidet.
Kann das Modell erkennen, wenn ein Element nicht vorhanden ist?
Sechs vorhandene und sechs nicht vorhandene Zielabfragen pro Modell. Dieser Track misst ausschließlich die Klassifizierung.
Balancierte Genauigkeit100%
Recall für vorhandene Elemente100%
Spezifität für nicht vorhandene Elemente100%
Abdeckung12/12
Kann das Modell zwischen sauberen und fehlerhaften Layouts unterscheiden?
Sechs saubere Steuerelemente und sechs Screenshots mit jeweils einem gezielt eingefügten Fehler pro Modell. Transportfehler bleiben Betriebsfehler und zählen nicht als Genauigkeitsergebnisse.
Balancierte Genauigkeit83%
Fehlererkennung83%
Spezifität bei sauberen Layouts83%
Abdeckung12/12
Warum diese Forschung wichtig ist
Für jeden Test die richtige Art von Computer Vision verwenden
Moderne Vision-LLMs können komplexe visuelle Bedeutungen erfassen, sind aber für jeden Testschritt noch zu langsam und teuer. Diese Forschung hilft uns zu erkennen, wann ihre semantischen Fähigkeiten diesen Kompromiss rechtfertigen.
Semantisches Schlussfolgern bei Bedarf
Moderne Vision-LLMs sind bei komplexeren Fragen hilfreich: beim Verstehen von Bedeutungen, Prüfen dynamischer Inhalte, Beschreiben von Fehlern oder Bewerten von Konzepten, die sich nicht durch einen einfachen visuellen Fingerabdruck erfassen lassen.
Ein evidenzbasierter Hybridansatz
Der Vergleich von Genauigkeit, Latenz, Zuverlässigkeit und Kosten hilft uns zu entscheiden, welche Prüfungen lokal bleiben sollten und welche ausreichend von einem LLM profitieren, um eine langsamere und teurere Auswertung zu rechtfertigen.
Unsere Produktstrategie
Den gesamten Vision-Benchmark ansehen →Repeatos lokale Computer Vision als schnelles Fundament nutzen und moderne Vision-LLMs gezielt für komplexe oder semantische Schlussfolgerungen einsetzen, wenn sie einen spürbaren zusätzlichen Nutzen bieten.
Testabdeckung
Sechs Bildschirme, drei Aufgabentypen
Jedes Modell wird anhand desselben eingefrorenen Korpus, derselben Prompts und Antwortschemata sowie einer normalisierten Geometrie von 0–1000 bewertet.
Commerce-Katalog
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch abgeschnittenen Containerinhalt.
Analytics-Dashboard
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch überlaufenden Text.
IoT-Steuerzentrale
Desktop-Web mit einem sauberen Steuerelement und einem zugehörigen Fehler durch überlappende Elemente.