Cómo elegir un sitio LLM personalizado para su proyecto de IA

Qué preguntar al elegir un modelo

Aquí tienes una buena lista de preguntas a las que debes responder cuando elijas un modelo:

• ¿Puedo utilizar un sitio LLM basado en la nube o tengo que alojar uno yo mismo?
• ¿Cómo de rápidas necesito que sean las respuestas?
• ¿Qué grado de precisión necesito en las respuestas?
• ¿Cuánto dinero ahorrará o generará mi proyecto? Entonces, ¿por debajo de qué precio debería situarse?
• ¿Cuánto tiempo necesito que duren mis respuestas?

En general, es difícil acelerar un modelo potente o reducir sus costes, y es más fácil mejorar un modelo menos preciso. 

Sin embargo, es mucho más rápido empezar con un modelo potente y, si satisface las necesidades de su proyecto, puede que no necesite tanto esfuerzo de ingeniería (además, es más fácil de mantener).

A partir de un modelo

Lo primero que debes hacer es elegir un modelo inicial. Hay un montón de tablas de clasificación en línea que comparan los diferentes modelos.

Por ejemplo:

• Hugging Face mantiene una clasificación de modelos de código abierto.
• Vellum tiene una excelente para los modelos más populares.

Si su empresa dispone de un modelo interno, considere la posibilidad de utilizarlo para ajustarse a su presupuesto y mantener la privacidad de los datos. Si necesita alojar el modelo usted mismo, considere un modelo de código abierto.

Puesta a punto 

El perfeccionamiento consiste en dar ejemplos al modelo para que aprenda a hacer bien una determinada tarea. Si quiere que destaque hablando de su producto, puede proporcionarle una serie de ejemplos de las mejores llamadas de ventas de su empresa.

Si el modelo es de código abierto, pregúntese si su equipo tiene suficiente capacidad de ingeniería para afinar un modelo.

Si el modelo es de código cerrado y se ofrece como un servicio - GPT-4 o Claude -, normalmente puede hacer que sus ingenieros ajusten los modelos personalizados mediante API. El precio suele aumentar sustancialmente con este método, pero el mantenimiento es escaso o nulo. 

Pero para muchos casos de uso, el ajuste fino no es el primer paso hacia la optimización de su modelo. 

Un gran caso para el ajuste fino es la construcción de un robot de conocimiento para el conocimiento estático. Al dar ejemplos de preguntas y respuestas, debería ser capaz de responderlas en el futuro sin tener que buscar la respuesta. Pero no es una solución práctica para la información en tiempo real. 

Generación mejorada por recuperación

RAG es un nombre elegante para una cosa sencilla que todos hemos hecho en ChatGPT: pegar un texto en ChatGPT y hacer una pregunta sobre él. 

Un ejemplo típico es preguntar si un determinado producto está en stock en un sitio de comercio electrónico, y que un chatbot busque la información en un catálogo de productos (en lugar de en Internet). 

En términos de velocidad de desarrollo y obtención de información en tiempo real, RAG es imprescindible. 

No suele afectar al modelo que elija, sin embargo nada le impide crear un punto final de la API LLM que consulte información y respuestas y utilizar este punto final como si fuera su propio LLM. 

Utilizar RAG para un chatbot basado en el conocimiento suele ser más fácil de mantener, ya que no es necesario ajustar un modelo y mantenerlo actualizado, lo que también puede reducir costes.

Aprendizaje N-shot 

La forma más rápida de empezar a mejorar la calidad de las respuestas es proporcionar ejemplos en una única llamada a la API LLM . 

La mayoría de nosotros utilizamos ChatGPT para dar cero ejemplos de lo que buscamos en una respuesta. Añadir un ejemplo (o one-shot) suele bastar para ver una mejora sustancial en la calidad de la respuesta. 

Más de un ejemplo se considera n-shot. N-shot no cambia el modelo, a diferencia del ajuste fino. Simplemente estás dando ejemplos justo antes de pedir una respuesta, cada vez que haces una pregunta. 

Pero no se puede abusar de esta estrategia: los modelos de LLM tienen un tamaño máximo de contexto y su precio depende del tamaño del mensaje. El ajuste fino puede eliminar la necesidad de ejemplos n-shot, pero lleva más tiempo hacerlo bien. 

Otras técnicas de ingeniería rápida

Existen otras técnicas de ingeniería de avisos, como la cadena de pensamiento, que obligan a los modelos a pensar en voz alta antes de dar con una respuesta. 

Esto aumenta la calidad de la respuesta, pero a costa de la duración, el coste y la rapidez de la misma. 

Mi recomendación

Aunque cada proyecto tendrá sus propias necesidades, voy a dar mi opinión sobre un enfoque sólido. 

Un buen punto de partida es utilizar un modelo estándar que equilibre velocidad y calidad, como GPT-4o Mini. Empieza por fijarte en la calidad de las respuestas, la velocidad de respuesta, el coste, las necesidades de la ventana contextual y decide qué hay que mejorar a partir de ahí. 

A continuación, con un caso de uso limitado, puedes probar la ingeniería de avisos sencilla, seguida de la RAG y, por último, el ajuste fino. Todos los modelos que pasen por estos procesos mejorarán su rendimiento, por lo que puede resultar complicado decidir qué utilizar.

Descargar la ingeniería para ahorrar dinero

Mantener un presupuesto ajustado es fundamental para hacer realidad su proyecto. Una de las formas de conseguirlo es reducir el tiempo de ingeniería disociando los requisitos. 

Hoy en día tenemos acceso a soluciones low-code como Flutterflow, Shopify, que pueden ser utilizadas por roles tradicionalmente no técnicos como los Product Managers. Los chatbots no son una excepción, y algunas plataformas de automatización de IA incluso te permiten utilizar tu propio LLM. 

Puede dar instrucciones a los ingenieros para que se centren en alojar el LLM y configurarlo con la plataforma de automatización. Eso libera a los analistas de negocio, gestores de producto y otros roles relacionados para construir agentes de IA que satisfagan los requisitos del negocio. 

Cuando se necesita algo adicional, estas plataformas suelen tener una forma de que los ingenieros añadan algo de código. De este modo, se mantienen las ventajas de un modelo personalizado y se gana en flexibilidad, rapidez y asequibilidad.

Proporcionar libertad de ingeniería para resolver problemas empresariales

Por otra parte, a veces los problemas empresariales son muy difíciles de resolver. 

Estamos hablando de aplicaciones totalmente conectadas a la red LLM , aplicaciones en dispositivos o proyectos que requieren dotar a los chatbots de capacidades extremadamente avanzadas que van más allá de la sincronización de datos entre dos plataformas. 

En esos casos, tiene sentido dejar libertad a los ingenieros para que utilicen las herramientas con las que se sientan más cómodos. Normalmente se trata solo de escribir código, y las partes interesadas se limitan a actuar como gestores del proyecto.

1. ¿Cómo evalúo el ROI de invertir en un LLM personalizado para mi empresa?

Empiece por comparar los costes iniciales y continuos (tiempo de ingeniería, infraestructura, licencias) con los beneficios esperados, como el tiempo ahorrado, el aumento de la satisfacción del cliente o el incremento de las tasas de conversión. Si el modelo automatiza una tarea de alto coste o impacto, el ROI será más fácil de justificar.

2. ¿Qué KPI debo seguir para medir la eficacia de un LLM personalizado?

Observe métricas como la precisión de la respuesta, la latencia, la satisfacción del usuario (CSAT o NPS), la tasa de resolución y el coste por interacción. Esto le ayudará a evaluar tanto el rendimiento como el impacto empresarial de su LLM.

3. ¿Cómo puedo calcular el coste de mantenimiento a largo plazo de una solución LLM personalizada?

Tenga en cuenta los costes recurrentes, como el alojamiento del servidor, el reentrenamiento o ajuste del modelo, las horas de ingeniería para las actualizaciones y las herramientas de supervisión. Ten en cuenta también la frecuencia con la que cambian tus datos, ya que eso afecta a la frecuencia con la que tendrás que volver a optimizar.

4. ¿Cómo puedo comparar distintos LLMs para mi sector o ámbito específico?

Pruebe los modelos con consultas reales de dominios específicos y evalúe la precisión, el tono y la relevancia de sus respuestas. También puede utilizar conjuntos de datos del sector o simular tareas de usuario para comprobar el rendimiento de cada modelo en condiciones reales.

5. ¿Qué normas de cumplimiento debe cumplir un LLM personalizado si estoy manejando datos de usuarios?

Como mínimo, busque GDPR, SOC 2 e HIPAA (si procede). Asegúrese de que el proveedor del modelo admite el cifrado de datos, registros de auditoría y tiene políticas claras de tratamiento y eliminación de datos.