La IA revisó tu aplicación. Todavía puede haber errores
Un estudio con 1.800 tareas mostró que la mejor configuración de IA encontró el 71,9 % de los errores conocidos. Por qué tu revisor necesita las reglas de tu negocio y una plantilla para pedir revisiones con evidencia.
Si estás construyendo tu app con IA, esto te interesa: una aplicación puede funcionar perfecto y aun así aplicar mal una regla de tu negocio. Y una revisión hecha por IA ayuda mucho a encontrar problemas, pero necesita saber qué debe hacer tu app y cómo comprobar lo que dice.
Ejemplo inventado: tu tienda calcula sin errores un descuento del 30 %. El problema es que tú solo autorizas hasta el 10 %. El cálculo funciona; la regla comercial está mal.
Qué encontró el estudio
Chenyang Yang y sus colaboradores publicaron el 9 de octubre de 2026 el preprint (When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection. Armaron 1.800 tareas de revisión con errores que personas ya habían identificado, y midieron si los agentes de IA los encontraban al revisar el cambio que los introdujo.
- La mejor configuración (Claude Opus 5 usado desde Copilot CLI) encontró el 71,9 % de esos errores dentro de sus primeros cinco comentarios.
- Los resultados empeoraron con cambios complejos y con errores que necesitaban conocer el contexto del proyecto.
Tu revisor necesita las reglas de tu negocio
La lección práctica: antes de pedir una revisión, escribe las reglas que tu app debe cumplir y conviértelas en pruebas. Para la tienda del ejemplo:
| Área | Regla | Cómo lo pruebas |
|---|---|---|
| Descuentos | Máximo 10 % | Intenta aplicar 30 %: debe rechazarse o pedir autorización |
| Moneda | Cobra en pesos colombianos | Revisa precio y moneda antes de confirmar el pago |
| Pedidos | Una compra, un pedido | Haz doble clic en "comprar": no debe duplicarse |
| Acceso | Cada usuario ve solo lo suyo | Con otra cuenta, intenta ver pedidos ajenos |
Usa siempre datos inventados y un entorno de prueba. Nada de pagos ni datos personales reales.
Plantilla para pedir la revisión
CONTEXTO
La aplicación sirve para: [descripción].
El cambio que debes revisar es: [cambio o archivos].
Estas son las reglas que debe cumplir: [lista concreta].
El entorno de prueba y cómo ejecutarlo: [detalles].
TAREA
Revisa si el cambio puede romper esas reglas. Consulta el contexto que necesites del proyecto. Antes de proponer una corrección, explica el problema y cómo comprobarlo. Si puedes ejecutar pruebas, muestra sus resultados; si no, di exactamente qué falta verificar.
FORMATO
Para cada hallazgo: 1) regla afectada, 2) archivo y ubicación, 3) evidencia, 4) pasos para reproducirlo y resultado esperado, 5) impacto y corrección mínima.
Separa errores comprobados de sospechas. No inventes ejecuciones ni resultados. Si no encuentras problemas, dilo sin asegurar que la aplicación está libre de errores.Después de corregir, repite las pruebas
- La corrección resuelve el caso que fallaba.
- Las reglas importantes se siguen cumpliendo.
- Cada hallazgo está respaldado por el código o por una prueba que puedes ver.
- Quedó claro qué no se pudo verificar todavía.
Si el agente no pudo correr una prueba, pídele que lo diga en voz alta y que explique qué falta. Una revisión que no encontró nada no es lo mismo que una app sin errores.
Fuente
- Yang y colaboradores, (When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection, preprint, 9 de octubre de 2026: arxiv.org/abs/2610.13668
La plantilla y el ejercicio son una adaptación educativa de ia con lala, no una reproducción del estudio.
Soy Lala. Explico la IA fácil para que nada se te quede atrás. Si quieres esto aplicado en tu empresa —capacitar a tu equipo, automatizar lo repetitivo o montar un WhatsApp que responda solo— escríbeme y te digo con honestidad qué te sirve.
Escríbeme por WhatsApp →