Cómo optimizar el coste del gasto en IA Botpress

Muchas empresas se enfrentan al reto de aprovechar el potencial de las tecnologías de IA sin gastar más de la cuenta. Entendemos la importancia de este equilibrio y nos comprometemos a ofrecer soluciones que permitan a nuestros usuarios aprovechar la IA de forma rentable.

Nuestro enfoque del coste de la IA

En primer lugar, es importante comprender dos componentes importantes de cómo reducimos los costes relacionados con la IA para nuestros usuarios sin dejar de ofrecer las ventajas de las capacidades de la IA.

Precios transparentes: Sin cargos ocultos

No añadimos márgenes a las tareas relacionadas con la IA. Esto significa que el coste de su gasto en IA está directamente relacionado con su uso real sin ningún coste adicional por nuestra parte. Puede utilizar nuestra calculadora de gasto en IA para estimar su gasto potencial en IA con nosotros.

Almacenamiento en caché de las respuestas de la IA

El almacenamiento en caché es una de nuestras estrategias más eficaces para reducir los costes de IA de los bots. Al almacenar en caché las respuestas de IA, reducimos el número de solicitudes al proveedor LLM , lo que puede reducir el coste de las consultas en aproximadamente un 30 %, ahorrándole dinero sin comprometer la calidad de las interacciones del bot con sus usuarios.

Consejos para optimizar el coste de la IA

Ahora que hemos visto dos de los enfoques que adoptamos para reducir el gasto en IA de nuestros usuarios, veamos los consejos que puedes utilizar mientras construyes tu bot para reducir aún más su coste de IA.

Optimice sus bases de conocimientos

La optimización de sus bases de conocimiento (KB) puede influir enormemente en su gasto en IA, ya que las KB suelen ser el principal factor de coste de la IA en un proyecto de Botpress .

Consejo 1: Elegir el modelo de IA adecuado

La elección de un modelo de IA influye significativamente en el coste. Dado que GPT-3.5 Turbo es más rápido y barato que GPT-4 Turbo, recomendamos probar a fondo su configuración con GPT-3.5 Turbo antes de considerar una actualización a versiones más avanzadas. 

Nuestro modo híbrido de Agente KB ofrece un excelente término medio, ya que inicialmente utilizamos GPT-3.5 Turbo para intentar responder a una consulta y escalamos a GPT-4 Turbo sólo si es necesario.

Consejo 2: Proteja su KB

Puede reducir su gasto en IA protegiendo su base de conocimientos de las preguntas frecuentes típicas innecesarias que no necesitan IA ni respuestas inteligentes con una tarjeta Buscar registros. Funciona así: si sabemos que los usuarios suelen hacer una pregunta y tenemos 50 preguntas conocidas con sus respuestas, podemos añadirlas a una tabla y consultar esa tabla mediante una tarjeta Buscar registros. En caso de que no encontremos una respuesta, sólo entonces buscamos en una KB.

Consejo 3: Extiende correctamente tus KB

Dependiendo del tipo de información y de la cantidad de información que desee añadir a una KB, suele ser una buena práctica hacer dos cosas en paralelo para reducir el coste de AI Spend. En primer lugar, organizar la información en bases de datos más pequeñas, cada una de ellas referida a un producto/función/tema específico. En segundo lugar, guiar al usuario a través de un flujo de trabajo con varias preguntas para delimitar su búsqueda a una base de conocimientos específica; esto no sólo reducirá el coste, sino que también producirá mejores resultados.

Consejo 4: Fuente de datos KB del sitio web frente a fuente de datos KB de búsqueda en la web

Si utilizas un sitio web como fuente de datos de KB pero no realizas cambios constantes en el sitio web que deban reflejarse en tu bot en tiempo real, una buena alternativa rentable es utilizar Buscar en la Web como fuente de datos de KB en lugar de la fuente de datos de KB del sitio web. Antes de realizar esta transición, asegúrese de comprobar que el rendimiento de las preguntas que prevé que se le formulen no se degrada con este cambio.

Consejo 5: Consultar tablas con la tarjeta Buscar registros o Ejecutar código

Si tiene una Tabla con datos que desea consultar, considere la posibilidad de utilizar la tarjeta Buscar Registros en lugar de utilizar la Tabla en una KB. Para aquellos con conocimientos técnicos, la ejecución de código puede ser un método aún más rentable para consultar una Tabla. Esto se hace consultando la Tabla directamente desde la tarjeta Ejecutar Código y almacenando el resultado en una variable de flujo de trabajo a la que podrá referirse posteriormente.

Consejo 6: Controla los trozos

Por fragmentos me refiero al número de fragmentos que se recuperarán de la Base de conocimientos para generar una respuesta. Por lo general, cuantos más fragmentos se recuperen, más precisa será la respuesta, pero tardará más en generarse y costará más tokens de IA. Experimente con el tamaño del fragmento para establecer la cantidad más baja que aún conduzca a respuestas precisas.

Utilice la tarjeta de código de ejecución para reducir el coste de los gastos de IA

La carta Ejecutar Código puede ser un sustituto adecuado y rentable para algunas cartas de IA. He aquí algunos escenarios en los que puedes considerar su uso:

Alternativas a los mensajes inteligentes

Si quieres que tu bot envíe una respuesta de IA diferente para la misma consulta cada vez, debes evitar el almacenamiento en caché (consulta el Apéndice para saber cómo). Hay situaciones en las que el aumento del gasto en IA puede justificarse por la mejora de la experiencia de conversación. Pero no siempre es así.

Piensa en algo como un simple saludo que se genera con LLMs. Con cada saludo incurrirás en un gasto adicional de AI Spend. ¿Merece la pena? Probablemente no. Afortunadamente, hay una solución rentable: utilizar una matriz con varias respuestas y una función sencilla para obtener un valor al azar y presentarlo. 

Dependiendo del volumen de conversación, la cantidad que se ahorre aplicando este método puede merecer la pena.

Puede encontrar más detalles sobre cómo implementar mensajes alternativos aquí.

Ejecución de código para tareas sencillas

Para tareas sencillas, como el reformateo de datos o la extracción de información de datos estructurados, el uso de la tarjeta Ejecutar Código puede resultar más eficaz, barato y rápido que recurrir a una página LLM.

Alternativas al agente sumario

Puede utilizar tarjetas Ejecutar Código para crear su propia transcripción. Coloca una tarjeta Ejecutar Código donde quieras para rastrear el mensaje de los usuarios y del bot en una variable array. Después, puedes usar ese array y alimentarlo como contexto a tu KB.

Simplificar siempre que sea posible

Opte por el método de interacción más sencillo que consiga el mismo objetivo sin degradar la experiencia del usuario. Por ejemplo, si lo que te interesa es recopilar opiniones de los usuarios, un sencillo sistema de clasificación por estrellas con comentarios será más rentable que utilizar IA para recopilar la misma información.

Consejos para tareas de IA, generar texto con IA y traducciones

Elegir el modelo de IA adecuado 

Sí, elegir el modelo de IA adecuado es tan importante que merece la pena mencionarlo dos veces. Al igual que ocurre con las KB, la elección de un modelo de IA influye significativamente en el coste cuando se trata de tareas de IA. Opta por GPT-3.5 Turbo para instrucciones menos complicadas. Antes de considerar una actualización a versiones más avanzadas, prueba a fondo tu configuración con este modelo. Recuerde que GPT-4 Turbo cuesta 20 veces más que GPT-3.5 Turbo. A menos que los resultados sean considerablemente mejores, opte por GPT-3.5 Turbo.

Además de lo anterior, también puede conservar el gasto de IA reduciendo la cantidad de tokens consumidos en cada ejecución de tarea de IA.

Mi recomendación es ser consciente de disminuir este número porque dará como resultado que cualquier token adicional se trunque. Por ejemplo, si limita la longitud a 2000 tokens y el mensaje más la salida es de más de 2000 tokens, la entrada se truncará en consecuencia.

AI Task vs AI Generate Text

Para las salidas de texto simple, la tarjeta AI Generate Text utiliza menos fichas y es más fácil de configurar que la tarjeta AI Task. Para las tareas de análisis sintáctico de la información, la tarjeta AI Task supera a la tarjeta AI Generate Text. 

Por lo tanto, mi recomendación es que utilices la tarjeta Tarea de IA cuando quieras utilizar la IA para procesar información (por ejemplo, si quieres detectar la intención del usuario o si quieres que la IA analice la entrada). Pero, si quieres aprovechar la IA para generar texto, entonces utiliza la tarjeta AI Generar Texto en su lugar (por ejemplo, si quieres tomar una respuesta KB y ampliarla o si quieres generar una pregunta de forma creativa).

Para profundizar en las diferencias entre la tarjeta AI Task y la tarjeta AI Generate Text, obtenga más información aquí.

Traducciones

Si tu bot va a gestionar una gran cantidad de conversaciones multilingües, considera la posibilidad de integrar ganchos con servicios de traducción externos para obtener una opción más rentable.

Puede encontrar más información sobre ganchos aquí.

Conclusión

Con estas estrategias y consejos, podrá optimizar su gasto en IA en Botpress. Comprender las implicaciones de coste de las diferentes tareas y elegir los métodos más eficientes para sus necesidades reducirá sus gastos relacionados con la IA sin comprometer el rendimiento.

Nuestro equipo está aquí para ayudarle a navegar por estas opciones y asegurarse de que su bot ofrece la mejor experiencia posible a sus usuarios al coste más eficiente. Visita nuestra página de precios para obtener más información o visita nuestro servidor Discord para obtener ayuda.

Anexo

Cómo evitar el caché

Si desea superar el almacenamiento en caché para obtener siempre resultados en directo, puede hacer cualquiera de las siguientes opciones:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Para evitar el almacenamiento temporal en caché: publica tu bot y pruébalo desde una ventana de incógnito.

Nota: en igualdad de condiciones, al eliminar esta capa de caché y no realizar ningún otro cambio en tu bot, el coste de gasto de IA aumentará.

Cursos recomendados

• ‍ChatGPT Prompt Engineering for Developers (aunque el título dice para desarrolladores, los no desarrolladores también se beneficiarán)
• ‍Construcción desistemas con la API ChatGPT