El costo real de la IA en producción

El piloto del agente de soporte costó unos pocos dólares al mes y convenció a todos. Tres meses después de extenderlo a toda la operación, la factura del proveedor del modelo llega con un número que nadie había presupuestado. No hubo ningún error: el agente simplemente estaba enviando el historial completo de cada cliente, con miles de palabras, en cada consulta, para responder preguntas que muchas veces se resolvían con una regla de dos líneas.

La escena es una composición y muestra un riesgo al pasar de la demo a la operación. Los proveedores suelen cobrar por tokens de entrada y salida, y algunas herramientas añaden cargos propios. En un piloto, el costo puede parecer pequeño. A escala, hay que presupuestar también llamadas a herramientas, infraestructura, revisión humana y reintentos.

La métrica correcta: costo por caso resuelto

Comparar tarifas de modelos por millón de tokens es útil, pero insuficiente. Para calcular el costo por caso resuelto, divide el costo total del período —incluidos intentos fallidos, reintentos, herramientas y revisión humana— por los casos que terminaron correctamente. Mide aparte qué proporción quedó sin resolver o necesitó derivación: un costo bajo sirve de poco si se abandonan muchos casos. Un modelo más caro que acierta a la primera puede salir más barato que uno económico que obliga a repetir.

Determinista primero

Una decisión de arquitectura útil es no usar un modelo de lenguaje para lo que se resuelve de forma fiable con reglas. En una conciliación, algunos calces pueden identificarse por monto, fecha y referencia. Una regla probada suele ser más barata y fácil de explicar para esos casos. Los casos ambiguos pueden requerir un modelo o revisión humana; la proporción se determina con datos del proceso.

Una regla bien probada evita llamadas innecesarias al modelo; también necesita mantenimiento y auditoría.

Cuatro técnicas para controlar la factura

• Contexto mínimo: enviar al modelo solo lo necesario para cada tarea, no el historial completo. La capa semántica ayuda, porque entrega cifras ya calculadas en lugar de tablas crudas.
• Caché de instrucciones: un prefijo estable puede costar menos cuando hay aciertos de caché. Comprueba el mínimo exigido, la retención, el costo de escritura y la tasa real de reutilización antes de estimar ahorros.
• Modelos del tamaño justo: compara modelos con tus casos y umbrales de calidad. Usa uno más costoso solo cuando la mejora compense el costo total del proceso.
• Procesamiento por lotes: lo que no necesita respuesta inmediata puede enviarse en lotes. Algunos proveedores ofrecen descuentos, sujetos a sus tarifas y tiempos de entrega vigentes.

Medir antes de escalar

Nada de esto se puede optimizar sin medirlo. Un agente en producción debería reportar, por tipo de caso, cuántos tokens consume, cuántas llamadas hace, cuánto tarda, cuánto cuesta y cuántos casos resuelve, deriva o deja abiertos. Con esos datos, la conversación deja de ser «la IA es cara» y pasa a ser concreta: qué tipo de caso cuesta más, por qué y qué parte se puede resolver con reglas.

Un agente puede resultar más barato o más caro que el proceso actual. La comparación válida incluye calidad, supervisión, excepciones y mantenimiento, además de la tarifa del modelo. La arquitectura determina cuánto trabajo se envía al modelo y cuánto se resuelve de forma más simple.

Las escenas de estos episodios son composiciones de situaciones frecuentes, no casos de clientes. Las cifras que aparecen en ellas son ilustrativas.