Come scegliere un LLM personalizzato per il tuo progetto IA

Gli LLM stanno trasformando il modo in cui costruiamo soluzioni AI. Modelli sempre più nuovi e migliori sono rilasciati continuamente.

Una domanda che mi viene posta spesso è: perché scegliere un LLM personalizzato invece di una soluzione pronta all’uso?

Se stai lavorando a un progetto IA, come costruire un agente IA o un chatbot IA, potresti scegliere di utilizzare un modello linguistico di grandi dimensioni (LLM) personalizzato.

Ci sono molti motivi per usare un LLM personalizzato per il tuo agente LLM, e molte opzioni disponibili. In questo articolo ti guiderò tra i diversi modi per personalizzare un LLM per progetti AI.

Perché utilizzare un LLM personalizzato?

Ci sono diversi motivi per utilizzare un LLM personalizzato:

• Vuoi ridurre i costi concentrandoti su un’attività specifica importante per il tuo business, oppure minimizzare la latenza.
• Potresti voler mantenere tutti i dati privati o utilizzare l’LLM proprietario della tua azienda.
• Potresti voler migliorare la qualità delle risposte per un'attività specifica.

Qualunque sia il motivo, personalizzare il tuo LLM ti permette di ottimizzare le prestazioni, bilanciando precisione, velocità e costi in base alle esigenze della tua azienda.

Scelta di un LLM

Gli LLM hanno due caratteristiche che influenzano i progetti AI: la loro dimensione (misurata in numero di parametri) e la qualità delle risposte.

Puoi pensare ai parametri come ai neuroni di un cervello. Un cervello più grande spesso è associato a maggiore intelligenza, ma non è sempre così. E parti del cervello possono essere altamente ottimizzate per compiti specifici come la visione.

Per i progetti AI, la dimensione di solito influisce sulla velocità di risposta e ha un impatto significativo sui costi. I progetti che richiedono bassa latenza spesso usano modelli più piccoli, ma a scapito della qualità delle risposte.

Cosa chiedere quando si sceglie un modello

Ecco una buona lista di domande a cui saper rispondere quando si sceglie un modello:

• Posso usare un LLM basato su cloud o devo ospitarne uno personalmente?
• Quanto devono essere rapide le risposte?
• Quanto devono essere precise le risposte?
• Quanto farà risparmiare e/o guadagnare il mio progetto? E quindi, sotto quale prezzo dovrebbe rientrare?
• Quanto devono essere lunghe le mie risposte?

In generale, è difficile velocizzare un modello potente o ridurne i costi, mentre è più facile migliorare un modello meno accurato.

Tuttavia, è molto più rapido iniziare con un modello potente, e se soddisfa le esigenze del progetto, potresti non aver bisogno di tanto sviluppo (ed è anche più facile da mantenere).

Scegliere tra RAG, Fine-Tuning, N-Shot Learning e Prompt Engineering

Ci sono cinque concetti generali che migliorano la qualità delle risposte dei LLM:

1. Partendo da un modello pre-addestrato
2. RAG
3. Ottimizzazione fine-tuning
4. Prompting N-shot
5. Prompt engineering

Questi aspetti non sono specifici per l’uso di modelli personalizzati, ma dovresti considerarli comunque, poiché lavorano in sinergia.

Partendo da un modello

La prima cosa da fare è scegliere un modello di partenza. Esistono molte classifiche online che confrontano i diversi modelli.

Ad esempio:

• Hugging Face mantiene una classifica per i modelli open source.
• Vellum ne ha uno eccellente per i modelli più diffusi.

Se la tua azienda dispone di un modello interno, valuta di utilizzarlo per rispettare il budget e mantenere privati i dati. Se devi ospitare il modello autonomamente, considera un modello open-source.

Fine-tuning

Il fine-tuning consiste nel fornire esempi al tuo modello affinché impari a svolgere bene un determinato compito. Se vuoi che eccella nel parlare del tuo prodotto, puoi fornire una serie di esempi delle migliori chiamate di vendita della tua azienda.

Se il modello è open source, valuta se il tuo team ha abbastanza risorse tecniche per personalizzarlo.

Se il modello è closed source e fornito come servizio – GPT-4 o Claude – di solito puoi far perfezionare modelli personalizzati ai tuoi ingegneri tramite API. Il prezzo di solito aumenta notevolmente con questo metodo, ma la manutenzione è minima o nulla.

Tuttavia, per molti casi d’uso, il fine-tuning non è il primo passo per ottimizzare il modello.

Un ottimo caso per il fine-tuning è la creazione di un bot per la conoscenza statica. Fornendo esempi di domande e risposte, dovrebbe essere in grado di rispondere in futuro senza dover cercare la risposta. Ma non è una soluzione pratica per informazioni in tempo reale.

Generazione aumentata dal recupero

RAG è un nome altisonante per una cosa semplice che tutti abbiamo fatto su ChatGPT: incollare del testo e fare una domanda a riguardo.

Un esempio tipico è chiedere se un certo prodotto è disponibile su un sito di e-commerce, e un chatbot che cerca l'informazione nel catalogo dei prodotti (anziché su tutto internet).

In termini di velocità di sviluppo e accesso alle informazioni in tempo reale, RAG è indispensabile.

Di solito non influisce sulla scelta del modello, ma nulla ti impedisce di creare un endpoint API LLM che interroga informazioni e fornisce risposte, utilizzando questo endpoint come se fosse un LLM a sé stante.

Utilizzare RAG per un chatbot basato sulla conoscenza è spesso più facile da mantenere, poiché non è necessario perfezionare un modello e aggiornarlo costantemente – il che può anche ridurre i costi.

N-shot learning

Il modo più rapido per migliorare la qualità delle risposte è fornire esempi in una singola chiamata API LLM.

Zero-shot – cioè senza fornire esempi di ciò che si cerca nella risposta – è il modo in cui la maggior parte di noi usa ChatGPT. Aggiungere un esempio (one-shot) è di solito sufficiente per vedere un netto miglioramento nella qualità della risposta.

Più di un esempio è considerato n-shot. N-shot non modifica il modello, a differenza del fine-tuning. Stai semplicemente fornendo esempi subito prima di chiedere una risposta, ogni volta che poni una domanda.

Ma questa strategia non può essere usata troppo spesso: i modelli LLM hanno una dimensione massima del contesto e il prezzo dipende dalla dimensione del messaggio. Il fine-tuning può eliminare la necessità di esempi n-shot, ma richiede più tempo per essere ottimizzato.

Altre tecniche di prompt engineering

Esistono altre tecniche di prompt engineering, come la chain-of-thought, che costringono i modelli a ragionare ad alta voce prima di fornire una risposta.

Questo aumenta la qualità delle risposte, ma a discapito della lunghezza, del costo e della velocità delle risposte.

La mia raccomandazione

Ogni progetto avrà esigenze uniche, ma ti darò il mio parere su un approccio solido.

Un buon punto di partenza è utilizzare un modello pronto all’uso che bilanci velocità e qualità, come GPT-4o Mini. Inizia valutando la qualità delle risposte, la velocità, il costo, le esigenze di contesto e decidi da lì cosa migliorare.

Poi, con un caso d’uso ristretto, puoi provare un po’ di prompt engineering, seguito dal RAG e infine dal fine-tuning. Ogni modello che passa da questi passaggi migliora le prestazioni, quindi può essere difficile capire cosa scegliere.

Considerazioni sulla privacy

In un mondo ideale, ogni LLM sarebbe sotto il tuo pieno controllo e nulla sarebbe esposto all’esterno.

Purtroppo, questo non è ciò che osserviamo nella pratica – e per ottime ragioni.

La prima è semplice: richiede ingegneria per ospitare e mantenere un modello personalizzato, il che è molto costoso. Quando il modello ospitato va offline, i parametri aziendali ne risentono, quindi il deployment deve essere molto solido.

Un altro motivo è che i leader del settore – come OpenAI, Google e Anthropic – rilasciano costantemente modelli più nuovi, potenti ed economici che rendono superfluo qualsiasi lavoro di fine-tuning. È così dai tempi di ChatGPT 3.5 e la tendenza non sembra cambiare.

Se il tuo caso d’uso prevede dati estremamente sensibili, ha senso usare un modello e ottimizzarlo per le tue esigenze. Se il GDPR è una priorità, ci sono molti modelli pronti all’uso conformi al GDPR.

Costruzione dopo aver selezionato il tuo LLM

Una volta scelto un LLM, puoi iniziare a pianificare come costruire e mantenere il tuo progetto AI. Ad esempio, ti mostro il tipo di progetto che conosco meglio: un agente AI o un chatbot AI.

Puoi rispondere alle seguenti domande per definire l’ambito del tuo progetto:

• Dove vorrei che il mio agente AI operasse? (Slack, WhatsApp, un widget su sito, ecc.)
• Quali conoscenze dovrebbe avere e dove si trovano?
• Quali funzionalità dovrebbe avere oltre a rispondere alle domande, se ce ne sono?
• Deve attivarsi quando succede qualcosa in azienda?

Esternalizza l’ingegneria per risparmiare

Mantenere un budget snello è fondamentale per realizzare il tuo progetto. Un modo per farlo è ridurre il tempo di sviluppo separando i requisiti.

Oggi abbiamo accesso a soluzioni low-code come Flutterflow, Shopify, utilizzabili anche da ruoli tradizionalmente non tecnici come i Product Manager. I chatbot non fanno eccezione, e alcune piattaforme di automazione AI permettono persino di usare il proprio LLM.

Puoi chiedere agli ingegneri di concentrarsi sull'hosting del LLM e sulla configurazione con la piattaforma di automazione. Questo libera analisti di business, product manager e altri ruoli correlati per costruire agenti AI che soddisfino i requisiti aziendali.

Quando serve qualcosa in più, queste piattaforme di solito permettono agli ingegneri di aggiungere codice. Così mantieni i vantaggi di un modello personalizzato e guadagni in flessibilità, velocità e convenienza.

Offri libertà ingegneristica per risolvere problemi di business

D’altra parte, a volte i problemi aziendali sono semplicemente molto difficili da risolvere.

Parliamo di applicazioni LLM completamente isolate dalla rete, app on-device o progetti che richiedono di dare ai chatbot capacità estremamente avanzate, ben oltre la semplice sincronizzazione di dati tra due piattaforme.

In questi casi, ha senso lasciare agli ingegneri la libertà di usare gli strumenti con cui si trovano meglio. Di solito significa semplicemente scrivere codice, mentre gli stakeholder agiscono come project manager.

Considerazioni strategiche per la personalizzazione di un LLM

Scegliere un LLM personalizzato per il tuo progetto IA non significa solo selezionare il modello migliore, ma prendere decisioni strategiche in linea con i tuoi obiettivi.

I modelli personalizzati offrono flessibilità, controllo e la possibilità di ottimizzare per compiti specifici, ma comportano anche una complessità aggiuntiva. Parti da un modello già pronto, sperimenta con il prompt engineering e affina gradualmente da lì.

Ricorda, il modello giusto deve adattarsi alle esigenze della tua azienda, non solo al tuo stack tecnologico.

Personalizzazione con piattaforme potenti

Pronto a portare il tuo progetto AI al livello successivo?

Botpress è una piattaforma per agenti AI completamente estensibile e flessibile. Il nostro stack consente agli sviluppatori di creare chatbot e agenti AI per qualsiasi caso d’uso.

Offriamo una solida piattaforma formativa, Botpress Academy, oltre a un dettagliato canale YouTube. Il nostro Discord ospita oltre 20.000 builder di bot, così puoi sempre trovare il supporto che ti serve.

Inizia a costruire oggi. È gratis.

Domande frequenti

1. Come posso valutare il ROI di un LLM personalizzato per la mia azienda?

Per valutare il ROI di un LLM personalizzato per la tua azienda, confronta i costi totali (infrastruttura, tempo degli sviluppatori, fine-tuning e hosting) con i benefici misurabili come riduzione del lavoro manuale e aumento delle conversioni.

2. Quali KPI dovrei monitorare per misurare l’efficacia di un LLM personalizzato?

Dovresti monitorare KPI come accuratezza delle risposte (precisione/recall o completamento del compito), latenza (tempo medio di risposta), soddisfazione utente (CSAT/NPS), tasso di risoluzione e costo per interazione. Queste metriche riflettono le prestazioni tecniche del modello e il loro impatto sui risultati aziendali.

3. Come posso stimare il costo di manutenzione a lungo termine di una soluzione LLM personalizzata?

Per stimare i costi di manutenzione a lungo termine di una soluzione LLM personalizzata, includi le spese per infrastruttura (cloud, storage), aggiornamenti tecnici, frequenza di retraining o fine-tuning, strumenti di monitoraggio e adattamento alle normative. Se i dati aziendali cambiano rapidamente, prevedi maggiori costi di retraining e validazione nel tempo.

4. Come posso confrontare diversi LLM per il mio settore o dominio specifico?

Confronta diversi LLM testandoli con prompt rappresentativi e specifici del settore e confrontando le loro prestazioni su accuratezza, chiarezza, tono e rilevanza del compito. Puoi usare set di dati interni o applicare benchmark open source come FinancialQA o MedQA a seconda del tuo settore.

5. Quali standard di conformità deve rispettare un LLM personalizzato se gestisco dati degli utenti?

Se gestisci dati degli utenti, il tuo LLM personalizzato dovrebbe rispettare standard come il GDPR (per la privacy dei dati UE), SOC 2 Type II (per la sicurezza operativa) e HIPAA (se gestisci dati sanitari). Il fornitore dell’LLM dovrebbe offrire funzionalità come accesso basato sui ruoli, crittografia dei dati in transito e a riposo, audit log e politiche chiare per la conservazione e cancellazione dei dati.