Red Hat sui piccoli modelli linguistici e open source per un’IA responsabile e pratica

Mentre gli eventi geopolitici plasmano il mondo, è naturale che influenzino anche la tecnologia – in particolare, il modo in cui il mercato attuale dell’IA sta cambiando, insieme alla metodologia accettata, al suo sviluppo e alle modalità di utilizzo in ambito aziendale.

Le aspettative sui risultati dell’intelligenza artificiale sono oggi bilanciate dalle realtà del mondo reale. E permane un certo grado di diffidenza verso questa tecnologia, che convive con l’entusiasmo di chi la sta già adottando, anche se è ancora in fase iniziale. La natura chiusa dei più noti modelli linguistici di grandi dimensioni (LLM) viene messa in discussione da esempi come Llama, DeepSeek e l’Ernie X1 rilasciato di recente da Baidu.

Al contrario, lo sviluppo open source offre trasparenza e la possibilità di contribuire attivamente, in linea con il desiderio di un’“IA responsabile”: un’espressione che racchiude aspetti come l’impatto ambientale dei modelli di grandi dimensioni, gli usi dell’IA, la composizione dei corpus di addestramento, e questioni legate alla sovranità dei dati, alla lingua e alla politica.

In quanto azienda che ha dimostrato la sostenibilità economica di un modello open source per il proprio business, Red Hat intende estendere il suo approccio aperto, collaborativo e guidato dalla comunità anche all’IA. Abbiamo parlato con Julio Guijarro, CTO per l’area EMEA di Red Hat, riguardo agli sforzi dell’organizzazione per sbloccare il potenziale dell’IA generativa in modo utile per le imprese, in modo responsabile, sostenibile e il più trasparente possibile.

Julio ha sottolineato quanto sia ancora necessario formare e informare per comprendere a fondo l’IA, dichiarando:

“Vista la complessità e l’oscurità che circondano il funzionamento interno dell’IA – radicata nella scienza e nella matematica – per molti resta una ‘scatola nera’. E questa mancanza di trasparenza è aggravata quando lo sviluppo avviene in ambienti chiusi e inaccessibili.”

Ci sono inoltre problemi legati alla lingua (le lingue europee e medio-orientali sono ancora poco rappresentate), alla sovranità dei dati e, fondamentalmente, alla fiducia.

“I dati sono l’asset più prezioso di un’organizzazione, e le aziende devono essere consapevoli dei rischi derivanti dall’esporre dati sensibili a piattaforme pubbliche con politiche sulla privacy variabili.”

La risposta di Red Hat

La risposta di Red Hat alla crescente domanda globale di IA è stata quella di perseguire ciò che può offrire il massimo beneficio agli utenti finali, eliminando molti dei dubbi e delle riserve che stanno emergendo con l’uso dei servizi di IA attualmente più diffusi.

Una delle soluzioni, secondo Julio, è costituita dai modelli linguistici di piccole dimensioni (SLM), da far girare in locale o su cloud ibridi, su hardware non specializzato, e con accesso alle informazioni aziendali locali. Gli SLM sono alternative compatte ed efficienti agli LLM, progettati per offrire buone prestazioni in compiti specifici, con un consumo computazionale molto inferiore.

Ci sono fornitori di cloud più piccoli che possono essere utilizzati per alleggerire il carico computazionale, ma la chiave è avere la libertà e flessibilità di mantenere in locale le informazioni aziendali sensibili, se necessario. Questo è importante perché le informazioni in azienda cambiano rapidamente:

“Uno dei problemi dei grandi modelli linguistici è che possono diventare obsoleti in fretta, perché la generazione dei dati non avviene nei grandi cloud. I dati nascono accanto a te, nei tuoi processi aziendali.”

C’è poi la questione dei costi.

“Far interrogare un LLM al servizio clienti può generare costi nascosti significativi – prima dell’IA, sapevi che una richiesta dati aveva un ambito limitato e prevedibile. Oggi, con l’uso iterativo degli LLM, più li usi, più migliorano le risposte… e più domande poni. Ogni interazione ha un costo. Una richiesta che prima era una sola transazione può ora diventare cento, a seconda di chi usa il modello e come. Ma eseguendo il modello in locale, hai più controllo, perché il costo è legato alla tua infrastruttura e non a ogni singola query.”

Non è necessario, però, avviare una costosa campagna d’acquisto di GPU. Parte del lavoro di Red Hat consiste nell’ottimizzare i modelli per girare su hardware standard, ovviamente in open source. Questo è possibile perché i modelli specialistici usati da molte aziende non necessitano di grandi corpus generalisti che richiedono ingenti risorse computazionali.

“Molto lavoro oggi consiste nel ridurre i grandi modelli, eliminando tutto ciò che non serve per un caso d’uso specifico. Se vogliamo rendere l’IA onnipresente, dobbiamo farlo con modelli linguistici più piccoli. Stiamo anche lavorando per migliorare vLLM (un motore di inferenza) per garantire un’interazione efficiente e standard con i modelli ovunque: in locale, in cloud o all’edge.”

Restare piccoli (e locali)

Utilizzare dati locali rilevanti per l’utente consente di ottenere risultati su misura. Julio ha citato progetti nei mondi arabo e lusofono che non sarebbero realizzabili usando i grandi modelli linguistici incentrati sull’inglese.

Ci sono anche altri problemi pratici riscontrati dagli early adopter degli LLM. Il primo è la latenza, che può essere critica in contesti sensibili al tempo o a contatto con il cliente. Avere risorse focalizzate e risultati pertinenti a pochi salti di rete di distanza è più sensato.

Il secondo è la fiducia: un elemento fondamentale dell’IA responsabile. Red Hat sostiene l’uso di piattaforme, strumenti e modelli aperti per favorire maggiore trasparenza, comprensione e possibilità di contributo da parte di tutti.

“Sarà cruciale per tutti. Stiamo creando le capacità per democratizzare l’IA, e ciò non significa solo pubblicare un modello, ma anche fornire agli utenti gli strumenti per replicarlo, adattarlo e metterlo in produzione.”

Red Hat ha recentemente acquisito Neural Magic per aiutare le aziende a scalare l’IA, migliorare le prestazioni dell’inferenza e offrire maggiore scelta e accessibilità nella creazione e distribuzione di carichi di lavoro IA con il progetto vLLM.

Insieme a IBM Research, ha inoltre lanciato InstructLab, per aprire le porte alla creazione di modelli anche a chi non è data scientist, ma possiede le giuste competenze aziendali.

C’è molta speculazione sul se e quando scoppierà la bolla dell’IA, ma tali discussioni portano sempre alla realtà economica che i grandi fornitori di LLM dovranno prima o poi affrontare.

Red Hat ritiene che l’IA abbia un futuro sotto forma di modelli specifici per caso d’uso, aperti per natura, tecnologicamente utili e accessibili a tutti.
Per citare il CEO di Red Hat, Matt Hicks: “Il futuro dell’IA è open.”