¿La temperatura controla el alcance de un agente? La confusión más común sobre LLM guardrails

"Si pongo temperature=0, el agente solo responderá lo que debe". Esta es la creencia errónea más extendida entre quienes empiezan a construir agentes con LLMs. El resultado de esta confusión es un agente que tiene temperature=0 (respuestas deterministas y consistentes) pero sigue respondiendo preguntas de cocina cuando debería estar solo gestionando tickets de Jira.

La temperatura y el alcance del agente son dos parámetros que actúan sobre dimensiones completamente distintas del comportamiento del modelo. Confundirlos lleva a sistemas con un control de alcance inexistente, disfrazados por una falsa sensación de control proporcionada por un parámetro numérico.

La temperatura es un parámetro de muestreo que modifica la distribución de probabilidad sobre el vocabulario del modelo en cada paso de generación. Con temperatura alta (cercana a 1 o superior), el modelo distribuye la probabilidad de forma más uniforme entre candidatos: aumenta la diversidad y creatividad, pero también la variabilidad y los errores.

Con temperatura baja (cercana a 0), el modelo concentra la probabilidad en los tokens más probables: las respuestas son más consistentes, predecibles y reproducibles. A temperature=0 con greedy decoding, la misma pregunta siempre produce la misma respuesta. Esto es útil para código, datos estructurados y respuestas donde la consistencia importa. No tiene nada que ver con si el modelo decide responder o no a una pregunta out-of-scope.

El alcance de un agente — qué puede responder y qué no — se define en el system prompt. Un system prompt bien diseñado para un agente de soporte técnico incluye: (1) una declaración explícita de intents que el agente puede manejar, (2) ejemplos explícitos de lo que está fuera de scope, y (3) instrucciones sobre qué hacer cuando llega una pregunta fuera de dominio.

Eres un agente de soporte técnico para la plataforma XYZ.

PUEDES ayudar con:
- Recuperación de contraseñas y accesos
- Consultas sobre el estado de pedidos
- Configuración básica de la cuenta
- Problemas técnicos conocidos documentados

NO PUEDES ayudar con:
- Preguntas de ventas o precios (redirigir a equipo comercial)
- Reclamaciones legales (redirigir a legal@empresa.com)
- Cualquier tema no relacionado con la plataforma XYZ

Cuando recibas una pregunta fuera de estos temas, responde:
"Eso está fuera de mi área de soporte. Para [tema], contacta con [canal]."
Nunca intentes responder preguntas fuera de scope.

LangChain también ofrece utilidades de guardrails que permiten validar inputs y outputs contra reglas predefinidas, detectar jailbreaks o clasificar intents antes de pasarlos al modelo principal. Pero la capa primaria de control de scope siempre es el system prompt.

Temperatura y scope son ortogonales: puedes tener alta temperatura con scope estricto (respuestas creativas pero solo dentro del dominio), o baja temperatura con scope amplio (respuestas consistentes sobre cualquier tema). La combinación más habitual en agentes de producción es temperatura baja + scope estricto en system prompt — no porque la temperatura controle el scope, sino porque ambas características son deseables a la vez en contextos donde la fiabilidad importa.