Szenario zum Elementvorhandensein · 2026-08-13

Ist die Schaltfläche „Gerät hinzufügen“ im Smart Home vorhanden?

Bestimme, ob die Schaltfläche „Gerät hinzufügen“ sichtbar vorhanden ist.

Erwartete AntwortVorhanden

390 × 844 · 9 Modellkonfigurationen

Exakte Eingabe

Prompt

You are evaluating a user interface screenshot for test automation.

Determine whether the single UI element described below is visibly present. Return found=true if it is present and found=false if it is absent.

Target: the Add device button

Return only data matching the supplied JSON schema. Do not describe your reasoning.
SHA-256 · 373e5db505430479f18e105225a8d3d4de4f0f4a5368f4f294e7f19b188af4ae

Dieser datierte Pilotversuch verwendete den oben gezeigten geometriefähigen Prompt. Das veröffentlichte Ergebnis zur Präsenz verwendet nur den zurückgegebenen found Wert; die Geometrie wird weder bewertet noch angezeigt.

Ground Truth

Benchmark-Screenshot zur Elementerkennung im Smart Home
Ziel: die Schaltfläche „Gerät hinzufügen“

Modelldaten

9 Modellergebnisse

Auf Präsenzseiten wird nur die boolesche Klassifizierung angezeigt. Die ursprüngliche Modellausgabe bleibt zur Prüfung sichtbar.

Holo3 122B A10B

H Company · holo3-122b-a10b
Richtig
Latenz
1.11 s
Kosten
$0.00017
Versuche
1
                  {"found":true}
                

Grok 4.5

xAI · x-ai/grok-4.5
Richtig
Latenz
7.82 s
Kosten
$0.0013
Versuche
1
                  {"found": true}
                

GPT-5.4

OpenAI · openai/gpt-5.4
Richtig
Latenz
8.33 s
Kosten
$0.0016
Versuche
1
                  {"found":true}
                

Gemini 3.6 Flash

Google AI Studio · google/gemini-3.6-flash
Richtig
Latenz
8.83 s
Kosten
$0.0022
Versuche
1
                  {"found":true}
                

GPT-5.6 Sol

OpenAI · openai/gpt-5.6-sol
Richtig
Latenz
8.18 s
Kosten
$0.0032
Versuche
1
                  {"found":true}
                

GPT-5.6 Luna

OpenAI · openai/gpt-5.6-luna
Richtig
Latenz
8.28 s
Kosten
$0.00006
Versuche
1
                  {"found":true}
                

Claude Sonnet 5

Anthropic · anthropic/claude-sonnet-5
Richtig
Latenz
8.79 s
Kosten
$0.0017
Versuche
1
                  {"found":true}
                

Claude Opus 5

Anthropic · anthropic/claude-opus-5
Richtig
Latenz
9.52 s
Kosten
$0.0043
Versuche
1
                  {"found": true}
                

Gemini 3.1 Pro Preview

Google AI Studio · google/gemini-3.1-pro-preview
Richtig
Latenz
15.90 s
Kosten
$0.0023
Versuche
1
                  {"found": true}
                
DE