Lo que 10 años de código me enseñaron sobre las specs para agentes de IA

Tras 10 años implementando specs, reconozco una mala spec de IA en pocas líneas.

El problema fundamental

Una spec clásica parte de un comportamiento esperado: “El sistema debe hacer X cuando Y”. Funciona para código determinista. Un LLM es probabilístico — genera una respuesta que se parece a X en la mayoría de casos.

Error #1: especificar comportamiento sin especificar casos límite

Una spec como “el agente debe analizar emails entrantes y crear una tarea si contiene una solicitud del cliente” ignora docenas de preguntas. ¿Qué es exactamente una solicitud? ¿Un spam que menciona el producto cuenta?

Lo que hago: pido sistemáticamente 10 ejemplos de inputs con el comportamiento esperado para cada uno.

Error #2: confundir “la IA entiende” con “la IA hace”

“Responde de forma profesional y empática” no significa nada para un LLM. “Usa usted, no empieces con ‘¡Hola!’, termina con una acción concreta” — eso sí es precisión.

Error #3: ignorar el formato de salida

La mitad de los bugs de integración que he visto vienen de JSON malformado. Si el agente devuelve datos estructurados, la spec debe incluir el esquema exacto.

Error #4: no especificar el comportamiento ante la incertidumbre

Un LLM sin instrucción alucinará una respuesta antes de admitir su incertidumbre. Dile explícitamente cuándo declararse incierto.