Il passaggio da GPT 3 a GPT 4 è stato un salto davvero notevole: aumentando le CPU e le GPU a disposizione l’azienda di Sam Altman, OpenAI, è riuscita a far scalare di cento volte il suo LLM, il Large Language Model di tipo GPT di ChatGPT, arrivando a dare vita a uno strumento ancora più potente e funzionale.
Un salto in avanti di cento volte
La domanda che tutti si stanno ponendo in questo momento però è un’altra: come farà adesso a fare il prossimo salto in avanti? Perché la prossima accelerazione richiederà molti più dati di addestramento e centri di calcolo molto più grandi. I modelli del futuro dovranno avere a disposizione sotto di sé risorse enormi.
Secondo alcune stime arrivare a fare un salto 100x richiede almeno un datacenter da un Gigawatt di energia (è l’unità di misura con la quale si considera il funzionamento e la potenza di un centro di calcolo), cioè qualcosa che ancora non c’è.
Meglio se i dati sono “organici”
Inoltre, saranno richiesti dati, tantissimi dati. Ma non dati sintetici, cioè generati da algoritmi o da altre GPU, perché abbiamo già visto che non sono “buoni” e portano a cattivi risultati. Servono dati genuini. E anche qui, siamo già arrivati a grattare il fondo del barile: a parte le regolamentazioni, tutti i dati “tradizionali” (dai repertori di intere biblioteche ai siti web sui quali è stato fatto scraping senza pietà) sono stati sfruttati.
E come se non bastasse, questi dati adesso dovranno non solo essere molti di più, ma dovranno essere anche stati curati, cioè “ripuliti”. Una operazione che può essere anche fatta con le attuali intelligenze artificiali (forse) ma che comunque aumenta il costo dell’intera operazione.
I big del mercato hanno bisogno di soldi
C’è da valutare inoltre che sia OpenAI che Anthropic, le due aziende in testa alla corsa assieme a Google e Meta, stanno veramente pompando qualsiasi risorsa economica nella progettazione e realizzazione delle generazioni future di intelligenze artificiali. Ma il costo nella scala attuale sembra essere proibitivo. Come detto si supera il miliardo di dollari (almeno) e questo pone un problema enorme di competizione e apertura del mercato. Il rischio cioè di far collassare tutto il mercato delle AI in tasca a pochissime e gigantesche aziende.
La mossa di Meta, che ha reso open source il software del suo modello, è una mossa certamente strategica perché rimette in circolazione la sua importanza senza tuttavia intaccare le capacità dell’azienda o metterne a rischio il valore: avere l’algoritmo di Llama per poterlo addestrare richiede sempre dati e potenza di calcolo, che sulla scala necessaria per poter arrivare a dei risultati rilevanti dal punto di vista sistemico, sono semplicemente fuori dalla portata di tutti o quasi tutti gli attori tradizionali del mercato.
Il tipo di innovazione che ci attende
Tutto questo ovviamente nella prospettiva che quel che sta succedendo sia una evoluzione di tipo lineare nel senso che non ci siano scarti laterali o altre tecnologie dirompenti che ancora non conosciamo. Con ChatGPT e, sotto, GPT, OpenAI è riuscita a fare questo al mercato, creando un chatbot AI che nessuno aveva ancora realizzato in questa scala. Gli altri (pochissimi) hanno cercato di seguire, mentre OpenAI ha aumentato la velocità passando dalla versione 3 alla versione 4 attuale.
Questa innovazione dirompente adesso si trova davanti al problema appena esposto: il prossimo “salto” è estremamente costoso in termini di energia e risorse di calcolo oltre che dati. Forse impossibile da fare o comunque lento nella sua esecuzione. L’unico modo in cui l’innovazione potrebbe procedere in maniera molto più rapida, a questo punto, sarebbe se ci fosse a disposizione un nuovo strumento dirompente capace di sparigliare le carte.
Questo strumento ancora non sappiamo cosa potrebbe essere ma è sicuro che qualcuna delle moltissime startup che si stanno buttando sul mondo dell’intelligenza artificiale, il più ricco dal punto di vista dei finanziamenti, magari ci sta già lavorando sopra. E allora per OpenAI e gli altri attori potrebbe essere un momento difficile.
Tutte le notizie che parlano di Intelligenza Artificiale sono disponibili a partire da questa pagina di macitynet.
