Negli ultimi anni si è assistito a carenze nella disponibilità di schede video per tutta una serie di motivi, compresa l’ascesa criptovalute (le GPU sono sfruttate per il mining); c’è stato un ritorno alla normalità lo scorso anno ma il problema potrebbe ripresentarsi perché l’incremento di tecnologie legate all’AI potrebbe comportare di nuovo domande elevate per queste schede.
Forbes riferisce che l’esistenza di tecnologie AI come quelle offerte da ChatGPT costa milioni di dollari al giorno, uno dei motivi per i quali OpenAI (la società che ha sviluppato quello che è attualmente il più noto dei chatbot basato su intelligenza artificiale e machine learning) ha previsto abbonamenti da 20$ al mese.
L’apprendimento automatico dei dati ai quali attinge ChatGPT ha richiesto a quanto pare 10.000 schede video Nvidia, e si stima che integrare funzionalità di query simili a quelle offerte da ChatGPT in Google richiederebbe 512.820 server A100, per un totale di 4.102.568 GPU A100. Si calcola che il costo totale di tali server e risorse di rete superi i 100 miliardi di spese in conto capitale, denaro che finirebbe in gran parte nelle casse di Nvidia.
Le GPU Nvidia A100 Tensor Core sono sfruttate per distribuzione, gestione e scalabilità dei carichi di lavoro IA nei cloud ibridi. Sono soluzioni costose (si parte da 15.000€ per la versione 40GB) ma su modelli IA conversazionali all’avanguardia come BERT (algoritmo pensato per rispondere a query particolarmente complesse) sono gradi di accelerare il throughput di inferenza fino a 249 volte rispetto alle CPU.
Sono stati effettuati esperimenti con le NPU (Neural Processing Unit), le unità dedicate all’IA integrate ad esempio negli ultimi anni negli iPhone; sulla carta, lo sviluppo delle NPU permette una migliore efficienza rispetto alle GPU perché sono pensate per scopi precisi ma in pratica le schede grafiche offrono il vantaggio di un’elevata potenza (624 TOPS l’A100 contro i 17 TOPS dell’A16), e la conclusione è il rischio di nuove carenze.
Il sito Wccftech riferisce che le richieste da parte di big del settore potrebbero portare aziende come Nvidia a dare la priorità al business di determinate GPU a discapito di altre, alla stregua di quanto abbiamo visto con il mining. La carenza non sarà probabilmente devastante ma tangibile, con i player del settore giocoforza costretti a ridurre gli impegni nella produzione di GPU per il mercato consumer preferendo offrire soluzioni top di gamma come la RTX 4090 per le sue performance IA.
Tutte le notizie che parlano di Intelligenza Artificiale sono disponibili a partire da questa pagina di macitynet.
