Clarifai lancia una nuova funzionalità di orchestrazione del calcolo per ottimizzare i carichi di lavoro IA
Il fornitore di piattaforme di intelligenza artificiale Clarifai ha presentato una nuova funzionalità di orchestrazione del calcolo che promette di aiutare le aziende a ottimizzare i carichi di lavoro IA in qualsiasi ambiente informatico, ridurre i costi ed evitare il vincolo a un singolo fornitore (vendor lock-in).
Annunciata il 3 dicembre 2024, la versione in anteprima pubblica consente alle organizzazioni di orchestrare i carichi di lavoro IA tramite un pannello di controllo unificato, indipendentemente dal fatto che vengano eseguiti su cloud, on-premise o in infrastrutture isolate (air-gapped). La piattaforma è compatibile con qualsiasi modello IA e acceleratore hardware, inclusi GPU, CPU e TPU.
“Clarifai è sempre stata all’avanguardia, con oltre un decennio di esperienza nel supporto alle grandi imprese e alle missioni governative critiche, offrendo un’intera gamma di strumenti IA per creare carichi di lavoro personalizzati”, ha dichiarato Matt Zeiler, fondatore e CEO di Clarifai. “Ora rendiamo disponibili le funzionalità che abbiamo sviluppato internamente per ottimizzare i nostri costi di calcolo mentre ci espandiamo per supportare milioni di modelli simultaneamente.”
Secondo Clarifai, la sua piattaforma è in grado di ridurre l’utilizzo computazionale fino a 3,7 volte grazie a ottimizzazioni di “model packing”, supportando oltre 1,6 milioni di richieste di inferenza al secondo con una affidabilità del 99,9997%. Le ottimizzazioni possono, potenzialmente, ridurre i costi dal 60 al 90%, a seconda della configurazione.
Le principali funzionalità della piattaforma includono:
-
Ottimizzazione dei costi tramite gestione automatica delle risorse, semplificazione delle dipendenze, “model packing” e opzioni di auto-scaling personalizzabili, incluso lo scaling a zero per i nodi e le repliche modello;
-
Flessibilità di deployment su qualsiasi fornitore hardware: cloud, on-premise, ambienti isolati o infrastruttura SaaS di Clarifai;
-
Integrazione completa con la piattaforma IA di Clarifai per etichettatura dati, training, valutazione, workflow e feedback;
-
Sicurezza avanzata, con possibilità di deployment nei VPC dei clienti o nei cluster Kubernetes locali senza necessità di porte in ingresso aperte, peering VPC o ruoli IAM personalizzati.
La nuova funzionalità nasce in risposta ai problemi segnalati dai clienti di Clarifai in merito a prestazioni e costi dell’IA. Come riportato nell’annuncio dell’azienda:
“Se avessimo un modo per considerare tutto in modo olistico, confrontare i nostri costi on-prem con quelli su cloud e poi orchestrare i carichi di lavoro tra ambienti basandoci sui costi, sarebbe estremamente utile.”
Questa nuova capacità di orchestrazione si basa sulla piattaforma IA esistente di Clarifai, che secondo l’azienda ha già elaborato oltre 2 miliardi di operazioni in ambito computer vision, linguaggio e audio IA. L’azienda afferma inoltre di garantire una disponibilità continua (24/7) e un uptime del 99,99% per le applicazioni critiche.
La funzionalità è attualmente disponibile in anteprima pubblica. Le organizzazioni interessate a testarla possono contattare Clarifai per ottenere l’accesso.