Le potenzialità dell’intelligenza artificiale sono tali che secondo alcuni esperti, incluso Sam Altiman fondatore di OpenAI, dovrebbe essere regolata come l’energia atomica: per fare in modo che chiunque possa verificarne il funzionamento si valuta il rilascio in formato open source, come promesso, e ora mantenuto, da Elon Musk con il modello Grok della sua società xAI.
Occorre precisare che il rilascio con licenza open source non riguarda il chatbot Grok che gli utenti possono usare in versione preliminare solo se abbonati al social X con piano Premium+.
Grok-1 è un modello AI grezzo
Il team di xAI precisa infatti che il rilascio come open source riguarda il modello base Grok-1, più precisamente pesi e architettura di rete. Si tratta del modello base grezzo impiegato nella fase di pre-addestramento che xAI ha concluso nel mese di ottobre 2023.
In pratica significa che il modello in questione non è ancora stato messo a punto per alcuna applicazione specifica, nemmeno per il dialogo con gli utenti. Il modello base Grok-1, ora disponibile con licenza open Apache 2.0, è stato addestrato su grandi quantità di dati, ma non ancora ottimizzato per un’attività particolare. Si tratta di un modello di tipo Mixture-of-Experts con 314 miliardi di parametri.
Con la tecnica di apprendimento automatico Mixture-of-Experts vengono impiegate più reti di esperti (learners) per dividere lo spazio problematico in regioni omogenee, in pratica viene eseguito solo uno o pochi modelli esperti per ciascun input. Al contrario nei modelli AI d’insieme tutti i modelli vengono eseguiti su ogni input.
Il team di xAI precisa che per ogni token Grok-1 funziona con il 25% dei pesi attivi: il modello è stato addestrato partendo da zero con stack personalizzato. Da questa pagina di Github sono disponibili istruzioni e download.
L’immagine di apertura articolo è generata dal modello AI concorrente Midjourney, ma prodotta a partire da un suggerimento elaborato da Grok: una rete neurale 3D con nodi trasparenti, connessioni luminose che mostrano pesi variabili con spessori e colori diversi.
Tutti gli articoli che parlano di intelligenza artificiale AI sono disponibili a partire da questa pagina di macitynet, invece per tutte le notizie su Elon Musk si parte da qui.
