Anthropic Claude · Eficiente · 2026-08-13
Rendimiento de Claude Sonnet 5 en tareas de grounding de interfaces mediante capturas de pantalla, presencia de elementos y defectos visibles de diseño relevantes para la automatización de pruebas.
Las solicitudes se dirigieron a la infraestructura de Anthropic mediante OpenRouter. Las alternativas de respaldo se desactivaron para todas las solicitudes conservadas.
Resultado general
Claude Sonnet 5 acertó 5 de los 24 objetivos de interfaz solicitados. Su precisión equilibrada fue del 100 % para la presencia de elementos y del 83 % para la detección de defectos de diseño.
Este piloto fechado conservó 24 respuestas de localización y 24 respuestas de detección. No falló ninguna solicitud de detección. Los resultados describen este modelo de API exacto y este corpus de pruebas, no la calidad general del modelo ni un producto de chat para consumidores.
Rendimiento relativo
Cada escala compara el modelo seleccionado con el modelo alternativo más fuerte y el más débil. Las tres métricas proceden de la misma ejecución completada de localización en 24 casos; un valor mayor siempre aparece a la derecha.
Localización de UI
Veinticuatro objetivos abarcan seis pantallas deterministas de escritorio y móvil. Un punto válido según el esquema dentro del objetivo solicitado cuenta como acierto; el IoU de las cajas mide la precisión de localización.
Resultados de detección
Las tareas equilibradas independientes miden si el modelo rechaza elementos ausentes y distingue controles limpios de capturas de pantalla con un único defecto de diseño introducido.
Seis consultas objetivo presentes y seis ausentes por modelo. Esta prueba mide únicamente la clasificación.
Seis controles limpios y seis capturas de pantalla con un defecto introducido por modelo. Los fallos de transporte siguen siendo fallos operativos, no respuestas de precisión.
Por qué importa esta investigación
Los principales LLM de visión pueden razonar sobre significados visuales complejos, pero siguen siendo demasiado lentos y costosos para cada paso de una prueba. Esta investigación nos ayuda a identificar dónde sus capacidades semánticas justifican ese intercambio.
Los propios algoritmos locales de visión de Repeato gestionan las interacciones frecuentes, la coincidencia visual y las comprobaciones de regresión con respuestas rápidas, comportamiento predecible y sin coste por solicitud del modelo.
Los principales LLM de visión son útiles para preguntas más complejas: comprender significados, comprobar contenido dinámico, describir defectos o evaluar conceptos que no pueden capturarse con una simple huella visual.
Comparar la precisión, la latencia, la fiabilidad y el coste nos ayuda a decidir qué comprobaciones deben seguir siendo locales y cuáles se benefician lo suficiente de un LLM como para justificar una evaluación más lenta y costosa.
Usar la visión por computador local de Repeato como base rápida y recurrir selectivamente a los principales LLM de visión para razonamientos complejos o semánticos, cuando aporten un valor adicional significativo.
Cobertura de pruebas
Cada modelo se evalúa con el mismo corpus congelado, las mismas indicaciones, los mismos esquemas de respuesta y una geometría normalizada de 0–1000.
Web de escritorio con un control correcto y un defecto de recorte en un contenedor asociado.
Web de escritorio con un control correcto y un defecto asociado de desbordamiento de texto.
Web de escritorio con un control correcto y un defecto asociado de solapamiento de elementos.
