Cómo optimizar el coste del gasto en IA Botpress

Consejo 1: Elegir el modelo de IA adecuado

La elección de un modelo de IA influye significativamente en el coste. Dado que GPT-3.5 Turbo es más rápido y barato que GPT-4 Turbo, recomendamos probar a fondo su configuración con GPT-3.5 Turbo antes de considerar una actualización a versiones más avanzadas. 

Nuestro modo híbrido de Agente KB ofrece un excelente término medio, ya que inicialmente utilizamos GPT-3.5 Turbo para intentar responder a una consulta y escalamos a GPT-4 Turbo sólo si es necesario.

Consejo 2: Proteja su KB

Puede reducir su gasto en IA protegiendo su base de conocimientos de las preguntas frecuentes típicas innecesarias que no necesitan IA ni respuestas inteligentes con una tarjeta Buscar registros. Funciona así: si sabemos que los usuarios suelen hacer una pregunta y tenemos 50 preguntas conocidas con sus respuestas, podemos añadirlas a una tabla y consultar esa tabla mediante una tarjeta Buscar registros. En caso de que no encontremos una respuesta, sólo entonces buscamos en una KB.

Consejo 3: Extiende correctamente tus KB

Dependiendo del tipo de información y de la cantidad de información que desee añadir a una KB, suele ser una buena práctica hacer dos cosas en paralelo para reducir el coste de AI Spend. En primer lugar, organizar la información en bases de datos más pequeñas, cada una de ellas referida a un producto/función/tema específico. En segundo lugar, guiar al usuario a través de un flujo de trabajo con varias preguntas para delimitar su búsqueda a una base de conocimientos específica; esto no sólo reducirá el coste, sino que también producirá mejores resultados.

Consejo 4: Fuente de datos KB del sitio web frente a fuente de datos KB de búsqueda en la web

Si utilizas un sitio web como fuente de datos de KB pero no realizas cambios constantes en el sitio web que deban reflejarse en tu bot en tiempo real, una buena alternativa rentable es utilizar Buscar en la Web como fuente de datos de KB en lugar de la fuente de datos de KB del sitio web. Antes de realizar esta transición, asegúrese de comprobar que el rendimiento de las preguntas que prevé que se le formulen no se degrada con este cambio.

Consejo 5: Consultar tablas con la tarjeta Buscar registros o Ejecutar código

Si tiene una Tabla con datos que desea consultar, considere la posibilidad de utilizar la tarjeta Buscar Registros en lugar de utilizar la Tabla en una KB. Para aquellos con conocimientos técnicos, la ejecución de código puede ser un método aún más rentable para consultar una Tabla. Esto se hace consultando la Tabla directamente desde la tarjeta Ejecutar Código y almacenando el resultado en una variable de flujo de trabajo a la que podrá referirse posteriormente.

Consejo 6: Controla los trozos

Por fragmentos me refiero al número de fragmentos que se recuperarán de la Base de conocimientos para generar una respuesta. Por lo general, cuantos más fragmentos se recuperen, más precisa será la respuesta, pero tardará más en generarse y costará más tokens de IA. Experimente con el tamaño del fragmento para establecer la cantidad más baja que aún conduzca a respuestas precisas.

Alternativas a los mensajes inteligentes

Si quieres que tu bot envíe una respuesta de IA diferente para la misma consulta cada vez, debes evitar el almacenamiento en caché (consulta el Apéndice para saber cómo). Hay situaciones en las que el aumento del gasto en IA puede justificarse por la mejora de la experiencia de conversación. Pero no siempre es así.

Piensa en algo como un simple saludo que se genera con LLMs. Con cada saludo incurrirás en un gasto adicional de AI Spend. ¿Merece la pena? Probablemente no. Afortunadamente, hay una solución rentable: utilizar una matriz con varias respuestas y una función sencilla para obtener un valor al azar y presentarlo. 

Dependiendo del volumen de conversación, la cantidad que se ahorre aplicando este método puede merecer la pena.

Puede encontrar más detalles sobre cómo implementar mensajes alternativos aquí.

Ejecución de código para tareas sencillas

Para tareas sencillas, como el reformateo de datos o la extracción de información de datos estructurados, el uso de la tarjeta Ejecutar Código puede resultar más eficaz, barato y rápido que recurrir a una página LLM.

Alternativas al agente sumario

Puede utilizar tarjetas Ejecutar Código para crear su propia transcripción. Coloca una tarjeta Ejecutar Código donde quieras para rastrear el mensaje de los usuarios y del bot en una variable array. Después, puedes usar ese array y alimentarlo como contexto a tu KB.

Elegir el modelo de IA adecuado 

Sí, elegir el modelo de IA adecuado es tan importante que merece la pena mencionarlo dos veces. Al igual que ocurre con las KB, la elección de un modelo de IA influye significativamente en el coste cuando se trata de tareas de IA. Opta por GPT-3.5 Turbo para instrucciones menos complicadas. Antes de considerar una actualización a versiones más avanzadas, prueba a fondo tu configuración con este modelo. Recuerde que GPT-4 Turbo cuesta 20 veces más que GPT-3.5 Turbo. A menos que los resultados sean considerablemente mejores, opte por GPT-3.5 Turbo.

Además de lo anterior, también puede conservar el gasto de IA reduciendo la cantidad de tokens consumidos en cada ejecución de tarea de IA.

Mi recomendación es ser consciente de disminuir este número porque dará como resultado que cualquier token adicional se trunque. Por ejemplo, si limita la longitud a 2000 tokens y el mensaje más la salida es de más de 2000 tokens, la entrada se truncará en consecuencia.

AI Task vs AI Generate Text

Para las salidas de texto simple, la tarjeta AI Generate Text utiliza menos fichas y es más fácil de configurar que la tarjeta AI Task. Para las tareas de análisis sintáctico de la información, la tarjeta AI Task supera a la tarjeta AI Generate Text. 

Por lo tanto, mi recomendación es que utilices la tarjeta Tarea de IA cuando quieras utilizar la IA para procesar información (por ejemplo, si quieres detectar la intención del usuario o si quieres que la IA analice la entrada). Pero, si quieres aprovechar la IA para generar texto, entonces utiliza la tarjeta AI Generar Texto en su lugar (por ejemplo, si quieres tomar una respuesta KB y ampliarla o si quieres generar una pregunta de forma creativa).

Para profundizar en las diferencias entre la tarjeta AI Task y la tarjeta AI Generate Text, obtenga más información aquí.

Traducciones

Si tu bot va a gestionar una gran cantidad de conversaciones multilingües, considera la posibilidad de integrar ganchos con servicios de traducción externos para obtener una opción más rentable.

Puede encontrar más información sobre ganchos aquí.