Szenario zum Elementvorhandensein · 2026-08-13

Ist die Schaltfläche „Haustür entriegeln“ im Smart Home vorhanden?

Bestimme, ob die Schaltfläche „Haustür entriegeln“ sichtbar vorhanden ist.

Erwartete AntwortNicht vorhanden

390 × 844 · 9 Modellkonfigurationen

Recherche von Stephan PetzlVeröffentlicht 2026-08-13

Exakte Eingabe

Prompt

You are evaluating a user interface screenshot for test automation.

Determine whether the single UI element described below is visibly present. Return found=true if it is present and found=false if it is absent.

Target: the Unlock front door button

Return only data matching the supplied JSON schema. Do not describe your reasoning.

SHA-256 · 32f14fdfb3ac5b10e0cd7df9a4692a71cbc34136eccc24573d43558ac9b50106

Dieser datierte Pilotversuch verwendete den oben gezeigten geometriefähigen Prompt. Das veröffentlichte Ergebnis zur Präsenz verwendet nur den zurückgegebenen found Wert; die Geometrie wird weder bewertet noch angezeigt.

Ground Truth

Benchmark-Screenshot zur Elementerkennung im Smart Home — Ziel: die Schaltfläche „Haustür entriegeln“

Modelldaten

9 Modellergebnisse

Auf Präsenzseiten wird nur die boolesche Klassifizierung angezeigt. Die ursprüngliche Modellausgabe bleibt zur Prüfung sichtbar.

Holo3 122B A10B

H Company · holo3-122b-a10b

Richtig

Latenz: 1.11 s
Kosten: $0.00017
Versuche: 1

                  {"found":false}

Grok 4.5

xAI · x-ai/grok-4.5

Richtig

Latenz: 7.99 s
Kosten: $0.0013
Versuche: 1

                  {"found": false}

GPT-5.4

OpenAI · openai/gpt-5.4

Richtig

Latenz: 7.91 s
Kosten: $0.0021
Versuche: 1

                  {"found":false}

Gemini 3.6 Flash

Google AI Studio · google/gemini-3.6-flash

Richtig

Latenz: 8.69 s
Kosten: $0.0026
Versuche: 1

                  {"found": false}

GPT-5.6 Sol

OpenAI · openai/gpt-5.6-sol

Richtig

Latenz: 8.85 s
Kosten: $0.0032
Versuche: 1

                  {"found":false}

GPT-5.6 Luna

OpenAI · openai/gpt-5.6-luna

Richtig

Latenz: 8.26 s
Kosten: $0.00006
Versuche: 1

                  {"found":false}

Claude Sonnet 5

Anthropic · anthropic/claude-sonnet-5

Richtig

Latenz: 8.85 s
Kosten: $0.0017
Versuche: 1

                  {"found": false}

Claude Opus 5

Anthropic · anthropic/claude-opus-5

Richtig

Latenz: 12.07 s
Kosten: $0.0043
Versuche: 1

                  {"found":false}

Gemini 3.1 Pro Preview

Google AI Studio · google/gemini-3.1-pro-preview

Falsch

Latenz: 12.13 s
Kosten: $0.0023
Versuche: 1

                  {"found": true}