Tu IA puede entregar bien y saltarse tu skill: cómo comprobarlo

Una skill es tu manual de trabajo para la IA: un archivo con las reglas de una tarea que se repite. Por ejemplo, cómo escribir un carrusel, qué fuente consultar, qué foto usar en la portada y dónde poner el llamado a la acción. El problema es que tener el manual no demuestra que el agente lo siguió. Hay que revisar el resultado y también el camino que tomó para llegar ahí.

Piénsalo así (ejemplo inventado): le pides una cotización a tu asistente. El total sale bien, pero nunca consultó el precio vigente, usó uno que "recordaba". Esta vez coincidió. La próxima, quizás no.

Qué encontró el estudio

Ngoc Phuoc An Vo y Vadim Sheinin (IBM) y Aarya Doshi (Georgia Tech) publicaron el 1 de octubre de 2026 el preprint Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills. Probaron dos skills de una empresa: una repartía ingresos entre aplicaciones y la otra calculaba productividad con costos. Las corrieron 240 veces, combinando dos versiones de las instrucciones, Claude Code y Codex, tres modelos y diez repeticiones.

En cada corrida revisaron dos cosas: si los números finales eran correctos y qué herramientas usó el agente, con qué datos y en qué orden.

• 175 de 240 corridas acertaron todas las cifras finales.
• 162 de esas 175 tuvieron al menos otra desviación en el camino.

En otras palabras: acertar el resultado no garantizó haber seguido el procedimiento.

Cómo se ve esto en el día a día

Un ejemplo con contenido: un carrusel puede tener las 12 láminas, el llamado a la acción al final y el diseño correcto, pero haberse saltado la ilustración aprobada que tu manual pide usar. Si solo cuentas láminas, no lo ves. Revisar la entrega y revisar el proceso son dos tareas distintas.

Convierte tu skill en cuatro comprobaciones

Escoge cuatro reglas de tu skill que se puedan verificar y anota dónde vas a ver la evidencia de cada una. Para un carrusel, por ejemplo:

"Usé la skill" no es evidencia. Si no puedes observar un paso, márcalo como pendiente, no como cumplido.

Haz la prueba en cuatro pasos

1. Copia cuatro reglas verificables. de tu skill, como las de la tabla.
2. Crea dos encargos de prueba. inventados, sin datos de clientes, y anota qué esperas ver en cada uno.
3. Pide el trabajo y registra la evidencia. de cada regla: archivo consultado, texto o referencia usada.
4. Corrige una sola instrucción y repite. los mismos dos encargos. Compara antes y después: ¿mejoró lo que corregiste sin dañar lo que ya funcionaba?

Prompt para pedir la auditoría

CONTEXTO: Esta es mi skill y estas son sus referencias: [archivos]. Esta fue la tarea: [encargo].

TAREA: Compara estos cuatro requisitos con lo que realmente hiciste y entregaste: [requisitos]. Usa solo evidencia que se pueda observar; no supongas que una regla se cumplió por haberla leído.

FORMATO: Una fila por regla con: requisito, evidencia concreta, cumple / no cumple / pendiente, importancia y corrección. Separa lo que comprobaste de lo que estás infiriendo. Si no puedes verificar una acción, dilo.

Fuentes

• Vo, Doshi y Sheinin (IBM / Georgia Tech), Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills, preprint, 1 de octubre de 2026: arxiv.org/abs/2610.01833
• Google Developers Blog, Evaluating AI agents: moving past the vibe check, 15 de octubre de 2026 (guía del proveedor sobre pruebas repetibles): developers.googleblog.com

La matriz y el ejercicio son una adaptación educativa de ia con lala, no una réplica del estudio.