Comment choisir un LLM personnalisé pour votre projet d’IA

Les LLM transforment notre façon de concevoir des solutions d’IA. De nouveaux modèles prêts à l’emploi, toujours plus performants, sortent régulièrement.

On me demande souvent pourquoi choisir un LLM personnalisé plutôt qu’une solution toute faite.

Si vous travaillez sur un projet d’IA, comme la création d’un agent IA ou d’un chatbot, vous pouvez opter pour un grand modèle de langage (LLM) personnalisé.

Il existe de nombreuses raisons d’utiliser un LLM personnalisé pour votre agent LLM, et de nombreuses options à votre disposition. Dans cet article, je vous présente les différentes façons de personnaliser un LLM pour des projets d’IA.

Pourquoi utiliser un LLM personnalisé ?

Il existe plusieurs raisons d'utiliser un LLM personnalisé :

• Vous souhaitez réduire les coûts en ciblant une tâche précise importante pour votre entreprise, ou minimiser la latence.
• Vous pouvez vouloir garder toutes les données privées, ou utiliser le LLM interne de votre entreprise.
• Vous pouvez vouloir améliorer la qualité des réponses sur une tâche spécifique.

Quelle que soit la raison, personnaliser votre LLM vous permet d’optimiser les performances en équilibrant précision, rapidité et coût selon vos besoins métier.

Choisir un LLM

Les LLM ont deux caractéristiques qui impactent les projets d’IA : leur taille (mesurée en nombre de paramètres) et la qualité des réponses.

On peut comparer les paramètres à des neurones dans un cerveau. Un cerveau plus gros est souvent associé à plus d’intelligence, mais ce n’est pas toujours vrai. Certaines parties du cerveau peuvent aussi être très optimisées pour des tâches spécifiques comme la vision.

Pour les projets d’IA, la taille influence généralement la rapidité des réponses, et a un impact important sur le coût. Les projets nécessitant une faible latence utilisent souvent des modèles plus petits, au détriment de la qualité des réponses.

Questions à se poser pour choisir un modèle

Voici une liste utile de questions à se poser lors du choix d’un modèle :

• Puis-je utiliser un LLM basé sur le cloud ou dois-je en héberger un moi-même ?
• À quelle vitesse ai-je besoin d'obtenir les réponses ?
• À quel point ai-je besoin que les réponses soient exactes ?
• Combien mon projet va-t-il permettre d'économiser et/ou de générer ? Ensuite, à quel prix doit-il rester inférieur ?
• Quelle longueur de réponse est nécessaire ?

En général, il est difficile d’accélérer un modèle puissant ou d’en réduire les coûts, et il est plus facile d’améliorer un modèle moins précis.

Cependant, il est beaucoup plus rapide de démarrer avec un modèle puissant, et s’il répond aux besoins de votre projet, cela demande moins d’efforts d’ingénierie (et c’est plus facile à maintenir).

Choisir entre RAG, Fine-Tuning, N-Shot Learning et Ingénierie de Prompt

Cinq grands concepts permettent d’améliorer la qualité des réponses d’un LLM :

1. Partir d’un modèle pré-entraîné
2. RAG
3. Fine-tuning
4. N-shot prompting
5. Ingénierie de prompt

Ces techniques ne sont pas propres aux modèles personnalisés, mais il faut les prendre en compte car elles fonctionnent ensemble.

Partir d’un modèle

La première chose à faire est de choisir un modèle de départ. Il existe de nombreux classements en ligne qui comparent les différents modèles.

Par exemple :

• Hugging Face tient à jour un classement des modèles open source.
• Vellum en propose un excellent pour les modèles les plus populaires.

Si votre entreprise dispose d’un modèle interne, envisagez de l’utiliser pour maîtriser votre budget et garder vos données privées. Si vous devez héberger le modèle vous-même, pensez à un modèle open source.

Ajustement (fine-tuning)

Le fine-tuning consiste à fournir des exemples à votre modèle pour qu’il apprenne à bien réaliser une tâche. Si vous voulez qu’il excelle dans la présentation de votre produit, vous pouvez lui fournir de nombreux exemples de vos meilleurs appels de vente.

Si le modèle est open source, demandez-vous si votre équipe a la capacité technique de faire du fine-tuning.

Si le modèle est propriétaire et fourni en tant que service – comme GPT-4 ou Claude – vos ingénieurs peuvent généralement affiner des modèles personnalisés via des API. Cette méthode coûte souvent beaucoup plus cher, mais nécessite peu ou pas de maintenance.

Mais pour de nombreux cas d’usage, le fine-tuning n’est pas la première étape pour optimiser votre modèle.

Un bon cas d’usage du fine-tuning est la création d’un bot de connaissances pour des informations statiques. En fournissant des exemples de questions et réponses, il pourra répondre sans avoir à rechercher l’information. Mais ce n’est pas adapté aux informations en temps réel.

Génération augmentée par récupération

RAG est un terme technique pour une chose simple que nous faisons tous sur ChatGPT : coller un texte et poser une question à son sujet.

Un exemple courant est de demander si un produit est en stock sur un site e-commerce, et qu’un chatbot aille chercher l’information dans le catalogue de produits (plutôt que sur tout Internet).

Pour le développement rapide et l’accès à l’information en temps réel, RAG est indispensable.

Cela n’influence généralement pas le choix du modèle, mais rien n’empêche de créer une API LLM qui interroge des informations et répond, et d’utiliser ce point d’accès comme s’il s’agissait d’un LLM à part entière.

Utiliser RAG pour un chatbot basé sur la connaissance est souvent plus simple à maintenir, car il n’est pas nécessaire de faire du fine-tuning ni de le mettre à jour – ce qui peut aussi réduire les coûts.

N-shot learning

La façon la plus rapide d’améliorer la qualité des réponses est de fournir des exemples dans un seul appel API LLM.

Le zero-shot – c’est-à-dire ne donner aucun exemple de ce que vous attendez – est la façon dont la plupart d’entre nous utilisons ChatGPT. Ajouter un exemple (one-shot) suffit souvent à améliorer nettement la qualité des réponses.

Plus d’un exemple, c’est du n-shot. Le n-shot ne modifie pas le modèle, contrairement au fine-tuning. Vous fournissez simplement des exemples juste avant de poser votre question, à chaque fois.

Mais cette stratégie a ses limites : les LLM ont une taille de contexte maximale, et le prix dépend de la taille du message. Le fine-tuning peut éviter d’avoir à fournir des exemples n-shot, mais demande plus de temps à mettre en place.

Autres techniques d’ingénierie de prompt

Il existe d’autres techniques d’ingénierie de prompt, comme chain-of-thought, qui forcent les modèles à « réfléchir à voix haute » avant de donner une réponse.

Cela améliore la qualité des réponses, mais au détriment de leur longueur, de leur coût et de leur rapidité.

Ma recommandation

Chaque projet ayant ses besoins propres, je vous donne tout de même mon avis.

Commencez avec un modèle prêt à l’emploi qui offre un bon équilibre entre rapidité et qualité, comme GPT-4o Mini. Analysez la qualité des réponses, la vitesse, le coût, la taille de la fenêtre de contexte, puis décidez ce qu’il faut améliorer.

Ensuite, pour un cas d’usage précis, essayez d’abord une ingénierie de prompt simple, puis RAG, et enfin le fine-tuning. Chaque étape apporte des gains de performance, il peut donc être difficile de choisir la bonne approche.

Considérations sur la confidentialité

Dans un monde idéal, chaque LLM serait entièrement sous votre contrôle, sans aucune exposition extérieure.

Malheureusement, ce n’est pas ce que l’on observe en pratique – et pour de bonnes raisons.

La première raison est simple : héberger et maintenir un modèle personnalisé demande des ressources techniques importantes et coûteuses. Si le modèle hébergé tombe en panne, cela impacte les indicateurs métier, donc le déploiement doit être très fiable.

Autre raison : les leaders du secteur – OpenAI, Google, Anthropic – publient sans cesse de nouveaux modèles plus performants et moins chers, rendant tout travail de fine-tuning vite obsolète. C’est le cas depuis la sortie de ChatGPT 3.5, et la tendance se poursuit.

Si votre cas d’usage implique des données très sensibles, il est logique d’utiliser un modèle adapté et de l’optimiser pour votre besoin. Si le RGPD est une priorité, il existe de nombreux modèles prêts à l’emploi conformes au RGPD.

Construire après avoir choisi votre LLM

Une fois que vous avez choisi un LLM, vous pouvez commencer à réfléchir à la façon de construire et de maintenir votre projet d’IA. À titre d’exemple, je vais prendre le type de projet que je connais le mieux : un agent IA ou un chatbot IA.

Vous pouvez répondre aux questions suivantes pour définir le périmètre de votre projet :

• Où souhaitez-vous que votre agent IA soit disponible ? (Slack, WhatsApp, un widget sur votre site web, etc.)
• Quelles connaissances doit-il posséder, et où se trouvent-elles ?
• Quelles fonctionnalités doit-il avoir en plus de répondre aux questions, le cas échéant ?
• Doit-il s'activer lorsqu'un événement se produit quelque part dans l'entreprise ?

Réduire la charge d’ingénierie pour économiser

Garder un budget serré est essentiel pour concrétiser votre projet. L’une des façons d’y parvenir est de réduire le temps d’ingénierie en dissociant les besoins.

Aujourd’hui, il existe des solutions low-code comme Flutterflow ou Shopify, accessibles à des profils non techniques comme les Product Managers. Les chatbots n’échappent pas à la règle, et certaines plateformes d’automatisation IA permettent même d’utiliser votre propre LLM.

Vous pouvez demander aux ingénieurs de se concentrer sur l’hébergement du LLM et la connexion avec la plateforme d’automatisation. Cela libère les analystes métier, les product managers et autres rôles similaires pour créer des agents IA répondant aux besoins de l’entreprise.

Si des besoins supplémentaires apparaissent, ces plateformes offrent généralement la possibilité aux ingénieurs d’ajouter du code. Ainsi, vous conservez les avantages d’un modèle personnalisé, tout en gagnant en flexibilité, rapidité et maîtrise des coûts.

Laisser aux ingénieurs la liberté de résoudre les problèmes métier

À l’inverse, certains problèmes métier sont particulièrement complexes à résoudre.

On parle ici d’applications LLM totalement isolées du réseau, d’applications embarquées, ou de projets nécessitant de doter les chatbots de capacités très avancées, bien au-delà de la simple synchronisation de données entre deux plateformes.

Dans ces cas-là, il est logique de laisser aux ingénieurs la liberté d’utiliser les outils avec lesquels ils sont le plus à l’aise. Cela revient généralement à écrire du code, tandis que les parties prenantes jouent un rôle de chef de projet.

Points stratégiques pour personnaliser un LLM

Choisir un LLM personnalisé pour votre projet d’IA ne consiste pas seulement à sélectionner le meilleur modèle, mais à prendre des décisions stratégiques alignées sur vos objectifs.

Les modèles personnalisés offrent flexibilité, contrôle et optimisation pour des tâches spécifiques, mais ils ajoutent aussi de la complexité. Commencez par un modèle prêt à l’emploi, testez l’ingénierie des prompts, puis affinez progressivement.

Gardez à l’esprit que le bon modèle doit répondre aux besoins de votre entreprise, pas seulement à votre pile technologique.

Personnaliser avec des plateformes puissantes

Prêt à passer à la vitesse supérieure pour votre projet d’IA?

Botpress est une plateforme d’agents IA entièrement extensible et flexible. Notre stack permet aux développeurs de créer des chatbots et agents IA pour tous les cas d’usage imaginables.

Nous proposons une plateforme d’apprentissage complète, Botpress Academy, ainsi qu’une chaîne YouTube détaillée. Notre serveur Discord réunit plus de 20 000 créateurs de bots, pour que vous puissiez toujours obtenir l’aide dont vous avez besoin.

Commencez à créer dès aujourd’hui. C’est gratuit.

FAQ

1. Comment évaluer le ROI d’un investissement dans un LLM personnalisé pour mon entreprise ?

Pour évaluer le ROI d’un LLM personnalisé, comparez le coût total (infrastructure, temps de développement, ajustement, hébergement) aux gains mesurables comme la réduction du travail humain ou l’augmentation du taux de conversion.

2. Quels KPIs suivre pour mesurer l’efficacité d’un LLM personnalisé ?

Vous devez suivre des KPIs comme la précision des réponses (précision/rappel ou taux de réussite des tâches), la latence (temps de réponse moyen), la satisfaction utilisateur (CSAT/NPS), le taux de résolution, et le coût par interaction. Ces indicateurs reflètent la performance technique du modèle et son impact sur les résultats de l’entreprise.

3. Comment estimer le coût de maintenance à long terme d’une solution LLM personnalisée ?

Pour estimer le coût de maintenance à long terme d’un LLM personnalisé, prenez en compte l’infrastructure (calcul cloud, stockage), les mises à jour techniques, la fréquence de réentraînement ou d’ajustement, les outils de surveillance, et l’adaptation aux évolutions réglementaires. Si vos données évoluent rapidement, prévoyez des coûts plus élevés pour le réentraînement et la validation.

4. Comment comparer différents LLMs pour mon secteur ou domaine spécifique ?

Comparez différents LLMs en les testant avec des prompts représentatifs et spécifiques à votre domaine, puis évaluez leur performance sur la précision, la clarté, le ton et la pertinence des tâches. Utilisez vos propres jeux de données ou des benchmarks open-source comme FinancialQA ou MedQA selon votre secteur.

5. Quelles normes de conformité un LLM personnalisé doit-il respecter si je traite des données utilisateurs ?

Si vous traitez des données utilisateurs, votre LLM personnalisé doit respecter des normes comme le RGPD (pour la protection des données en Europe), SOC 2 Type II (pour la sécurité opérationnelle) et HIPAA (si vous gérez des données de santé). Le fournisseur du LLM doit proposer des fonctionnalités telles que la gestion des accès par rôle, le chiffrement des données en transit et au repos, la journalisation des accès et des politiques claires de conservation et suppression des données.