Elegir qué modelo de lenguaje grande impulsará tu agente es una de las decisiones técnicas más importantes de tu proyecto.
Esto afecta el rendimiento de tu agente, cuánto cuesta operarlo y qué tan predecible es su comportamiento con el tiempo.
No existe un modelo único que sea el mejor. La elección correcta depende de tus objetivos, tu presupuesto y el nivel de control que necesitas sobre los resultados.
Los equipos que toman esta decisión apresuradamente suelen arrepentirse después. La clave es probar desde el principio, definir prioridades claras y evitar depender de un solo proveedor o configuración.
Una buena estrategia con LLM responde a cuatro preguntas principales:
- ¿Qué modelo vas a usar y por qué?
- ¿Con qué frecuencia probarás alternativas?
- ¿Qué es más importante para tu caso de uso: velocidad o capacidad?
- ¿Cuál es tu plan de respaldo si el modelo falla o empeora?
Veamos cada una de estas preguntas.
Elegir un modelo se trata de encontrar el adecuado, no el más prestigioso. Algunos modelos son rápidos y económicos, otros son más lentos pero mejores para razonamientos complejos.
Si tu caso de uso implica interacciones breves con clientes, la latencia y el costo pueden ser más importantes que la profundidad.
Si tu caso de uso requiere razonamiento en varios pasos o resúmenes detallados, la capacidad puede ser prioritaria.
Probar temprano y con frecuencia te ayuda a ver cómo se comportan los modelos con tus propios datos. Cada LLM tiene sus particularidades. Algunos siguen mejor las instrucciones, otros mantienen mejor el tono o la precisión. Solo puedes descubrir esto con ejemplos reales de tus propios flujos de trabajo.
Planificar un respaldo es igual de importante. Incluso las API más estables a veces cambian de comportamiento, empeoran o dejan de funcionar. Siempre define un modelo alternativo y una política para cambiar cuando el rendimiento baje de tu estándar. (O asegúrate de que tu constructor de agentes ofrezca una opción de respaldo por defecto, como hace Botpress)
En Terminal Roast, Ross, el contador, revisa los números. El equipo quiere que su agente gestione chats sencillos con clientes sobre café y pasteles sin demoras notables. Tras probar varias opciones, deciden usar Gemini 2.5 Flash. Es rápido, económico y ofrece suficiente capacidad de razonamiento para conversaciones informales con clientes.
Como respaldo, configuran el sistema para cambiar a un modelo secundario si la latencia o la tasa de errores supera su umbral. Esta decisión mantiene la experiencia del usuario fluida y el costo operativo predecible.
Ross señala que, si más adelante amplían el agente para tareas más complejas, pueden volver a evaluar la elección del modelo.
Cada decisión sobre el modelo también es una decisión de negocio. Elegir mal puede duplicar tus costos operativos o generar retrasos innecesarios en las interacciones con los usuarios. La decisión correcta equilibra rendimiento y costo de acuerdo a la experiencia que quieres ofrecer.
La flexibilidad es igual de importante. Evita diseñar tu sistema tan centrado en un solo modelo que luego sea difícil cambiar. Usa una capa de abstracción o un proveedor que soporte varios modelos para poder adaptarte a medida que el entorno evoluciona.
Esta flexibilidad mantiene tu sistema resistente y te asegura no depender del plan de desarrollo o precios de un solo proveedor.
Para crear una estrategia real con LLM, documenta tres cosas:
- Tu modelo principal y por qué lo elegiste.
- Tus umbrales de rendimiento y costo para considerar un cambio.
- Tu modelo de respaldo y las reglas para activarlo.
Revisa estas decisiones al menos cada trimestre. El ritmo de cambio en el ecosistema de LLM es altísimo, y a menudo surgen modelos nuevos que superan a los anteriores a menor costo. Considera esto como una evaluación continua, no una configuración única.
La decisión de Terminal Roast de priorizar la velocidad y la previsibilidad sobre la potencia bruta es lo que hace sostenible su primer despliegue. Mantiene a los clientes satisfechos, limita los costos y les permite recopilar datos reales sin inestabilidad técnica.
Ese equilibrio —elegir un modelo adecuado, planificar para el cambio y mantener la flexibilidad— es lo que diferencia los proyectos experimentales de los de producción.
Tu estrategia con LLM siempre debe apoyar tus objetivos de negocio, no imponerlos.
Acción: Anota qué modelo planeas usar, qué es lo más importante para tu caso de uso (velocidad, costo o profundidad) y cuál será tu opción de respaldo. Revisa estas decisiones regularmente a medida que recopiles datos de uso.
