Cómo optimizar el gasto en IA en Botpress

Muchas empresas se enfrentan al reto de aprovechar el potencial de la IA sin gastar de más. Entendemos la importancia de este equilibrio y estamos comprometidos a ofrecer soluciones que permitan a nuestros usuarios aprovechar la IA de manera rentable.

Nuestro enfoque sobre el costo de IA

Primero, es importante entender dos componentes clave de cómo reducimos los costos relacionados con IA para nuestros usuarios, sin dejar de ofrecer los beneficios de la inteligencia artificial.

Precios transparentes: sin cargos ocultos

No añadimos ningún margen a las tareas relacionadas con IA. Esto significa que tu gasto en IA está directamente relacionado con tu uso real, sin tarifas adicionales de nuestra parte.

Almacenamiento en caché de respuestas de IA

El almacenamiento en caché es una de nuestras estrategias más efectivas para reducir los costos de IA de los bots. Al almacenar en caché las respuestas de IA, reducimos la cantidad de solicitudes al proveedor de LLM, lo que puede disminuir el costo de las consultas en aproximadamente un 30%, ahorrando dinero sin comprometer la calidad de las interacciones del bot con tus usuarios.

Consejos para optimizar el costo de IA

Ahora que hemos visto dos de los enfoques que usamos para reducir el gasto en IA de nuestros usuarios, veamos algunos consejos que puedes aplicar al construir tu bot para reducir aún más su costo de IA.

Optimiza tus bases de conocimiento

Optimizar tus bases de conocimiento (KB) puede influir mucho en tu gasto en IA, ya que suelen ser el principal factor de costo de IA en un proyecto de Botpress.

Consejo 1: Elige el modelo de IA adecuado

La elección del modelo de IA impacta significativamente en el costo. Como GPT-3.5 Turbo es más rápido y económico que GPT-4 Turbo, recomendamos probar a fondo tu configuración con GPT-3.5 Turbo antes de considerar una actualización a versiones más avanzadas.

El modo híbrido de nuestro agente de KB ofrece un excelente punto intermedio, ya que primero usamos GPT-3.5 Turbo para intentar responder una consulta y solo escalamos a GPT-4 Turbo si es necesario.

Consejo 2: Protege tu KB

Puedes reducir tu gasto en IA protegiendo tu KB de preguntas frecuentes típicas que no requieren IA ni respuestas inteligentes, usando una tarjeta Buscar Registros. Así funciona: si sabes que los usuarios suelen hacer una pregunta y tienes 50 preguntas conocidas con sus respuestas, puedes agregarlas a una tabla y consultarla con una tarjeta Buscar Registros. Si no se encuentra respuesta, solo entonces se consulta la KB.

Consejo 3: Delimita correctamente tus KB

Dependiendo del tipo y cantidad de información que quieras añadir a una KB, lo más recomendable es hacer dos cosas en paralelo para reducir el gasto en IA. Primero, organiza la información en KB más pequeñas, cada una enfocada en un producto, función o tema específico. Segundo, guía al usuario a través de un flujo con varias preguntas para delimitar la búsqueda a una KB concreta; esto no solo reducirá el costo, sino que también dará mejores resultados.

Consejo 4: Fuente de datos KB de sitio web vs. Buscar en la web

Si usas un sitio web como fuente de datos para tu KB pero no realizas cambios constantes que deban reflejarse en tu bot en tiempo real, una alternativa rentable es usar Buscar en la web como fuente de datos de tu KB en lugar de la fuente de sitio web. Antes de hacer el cambio, asegúrate de probar que el rendimiento en las preguntas esperadas no se vea afectado.

Consejo 5: Consulta tablas con Buscar Registros o Ejecutar Código

Si tienes una tabla con datos que quieres consultar, considera usar la tarjeta Buscar Registros en lugar de usar la tabla en una KB. Para quienes tienen conocimientos técnicos, ejecutar código puede ser un método aún más eficiente para consultar una tabla. Puedes hacerlo consultando la tabla directamente desde la tarjeta Ejecutar Código y almacenando el resultado en una variable de flujo para usarla después.

Consejo 6: Controla los fragmentos

Por fragmentos me refiero a la cantidad de partes que se recuperarán de la base de conocimiento para generar una respuesta. Generalmente, cuantos más fragmentos se recuperan, más precisa será la respuesta, pero tomará más tiempo generarla y costará más en tokens de IA. Prueba distintos tamaños de fragmento para establecer la cantidad mínima que aún genere respuestas precisas.

Usa la tarjeta Ejecutar Código para reducir el gasto en IA

La tarjeta Ejecutar Código puede ser una alternativa adecuada y rentable para algunas tarjetas de IA. Aquí tienes algunos escenarios donde puedes considerarla:

Alternativas inteligentes para mensajes

Si quieres que tu bot envíe una respuesta de IA diferente para la misma consulta cada vez, debes evitar el almacenamiento en caché (consulta el apéndice para saber cómo hacerlo). Hay casos en los que el aumento en el gasto de IA se justifica por la mejora en la experiencia conversacional. Pero no siempre es así.

Piensa en algo como un saludo simple generado por LLM. Con cada saludo incurrirás en un gasto adicional de IA. ¿Vale la pena? Probablemente no. Por suerte, hay una alternativa rentable: usa un arreglo con varias respuestas y una función sencilla para elegir una al azar y mostrarla.

Dependiendo del volumen de conversaciones, lo que ahorres implementando este método puede compensar el esfuerzo.

Puedes encontrar más detalles sobre cómo implementar mensajes alternativos aquí.

Ejecución de código para tareas simples

Para tareas sencillas, como reformatear datos o extraer información de datos estructurados, usar la tarjeta Ejecutar Código puede ser más eficiente, económico y rápido que depender de un LLM.

Alternativas al agente de resumen

Puedes usar tarjetas Ejecutar Código para crear tu propio historial de conversación. Coloca una tarjeta Ejecutar Código donde quieras registrar los mensajes del usuario y del bot en una variable de tipo arreglo. Después, puedes usar ese arreglo y proporcionárselo como contexto a tu KB.

Simplifica cuando sea posible

Elige el método de interacción más simple que logre el mismo objetivo sin afectar la experiencia del usuario. Por ejemplo, si quieres recopilar comentarios de los usuarios, un sistema de calificación con estrellas y comentarios será más rentable que usar IA para recoger la misma información.

Consejos para tareas de IA, generación de texto y traducciones

Elige el modelo de IA adecuado

Sí, elegir el modelo de IA correcto es tan importante que vale la pena mencionarlo dos veces. Al igual que con las KB, la elección del modelo de IA impacta mucho en el costo de las tareas de IA. Opta por GPT-3.5 Turbo para instrucciones menos complejas. Antes de considerar una actualización a versiones más avanzadas, prueba a fondo tu configuración con este modelo. Recuerda que GPT-4 Turbo cuesta 20 veces más que GPT-3.5 Turbo. A menos que los resultados sean mucho mejores, elige GPT-3.5 Turbo.

Además de lo anterior, también puedes ahorrar en gasto de IA reduciendo la cantidad de tokens consumidos en cada ejecución de tarea de IA.

Mi recomendación es que seas consciente al reducir este número, ya que cualquier token adicional será truncado. Por ejemplo, si limitas la longitud a 2000 tokens y tu prompt más la salida supera los 2000 tokens, tu entrada se truncará en consecuencia.

Tarea de IA vs. Generar texto con IA

Para salidas de texto simples, la tarjeta Generar texto con IA usa menos tokens y es más fácil de configurar que la tarjeta Tarea de IA. Para tareas que requieren analizar información, la tarjeta Tarea de IA es más eficaz que la de Generar texto.

Por lo tanto, mi recomendación es usar la tarjeta Tarea de IA cuando quieras que la IA procese información (por ejemplo, si quieres detectar la intención del usuario o analizar la entrada). Pero si solo quieres que la IA genere texto, usa la tarjeta Generar texto con IA (por ejemplo, si quieres ampliar una respuesta de KB o generar una pregunta creativa).

Para profundizar en las diferencias entre la tarjeta Tarea de IA y la de Generar texto con IA, descubre más aquí.

Traducciones

Si tu bot va a gestionar un alto volumen de conversaciones multilingües, considera integrar hooks con servicios externos de traducción para una opción más rentable.

Puedes encontrar más información sobre hooks aquí.

Conclusión

Con estas estrategias y consejos, podrás optimizar tu gasto en IA en Botpress. Entender el impacto de costo de las distintas tareas y elegir los métodos más eficientes para tus necesidades reducirá tus gastos en IA sin sacrificar el rendimiento.

Nuestro equipo está aquí para ayudarte a explorar estas opciones y asegurarse de que tu bot ofrezca la mejor experiencia posible a tus usuarios al costo más eficiente. Visita nuestra página de precios para más información o visita nuestro servidor de Discord para recibir ayuda.

Apéndice

Cómo evitar el almacenamiento en caché

Si quieres evitar el almacenamiento en caché y obtener siempre resultados en tiempo real, puedes hacer lo siguiente:

• Para evitar el almacenamiento en caché de forma permanente: añade `And discard:{{Date.now()}}` en todas tus tarjetas relacionadas con IA (por ejemplo, en los prompts de tareas de IA, en el contexto de KB, etc.).
• Para evitar el almacenamiento en caché temporalmente: publica tu bot y pruébalo desde una ventana de incógnito.

Cursos recomendados

• ‍Ingeniería de Prompts de ChatGPT para Desarrolladores (aunque el título dice para desarrolladores, ¡los no desarrolladores también se beneficiarán!)
• ‍Cómo construir sistemas con la API de ChatGPT