Mentre il 2024 volge al termine, il capitalista di rischio Rob Toews di Radical Ventures condivide le sue previsioni per l’intelligenza artificiale nel 2025:
01. Meta inizierà a far pagare i modelli Llama
Meta è il principale fornitore di intelligenza artificiale aperta al mondo. In un interessante caso di studio sulla strategia aziendale, Meta ha scelto di rendere disponibile gratuitamente il suo modello all’avanguardia, Llama, mentre concorrenti come OpenAI e Google hanno apertamente chiuso i loro modelli all’avanguardia e ne hanno fatto pagare l’utilizzo.
Quindi la notizia che Meta inizierà a far pagare alle aziende l’utilizzo di Llama l’anno prossimo giungerà come una sorpresa per molti.
Per essere chiari: non stiamo prevedendo che Meta disattiverà completamente il codice sorgente di Llama, né che chiunque utilizzi i modelli Llama dovrà pagarne il costo.
Ci aspettiamo invece che Meta rafforzi i termini della licenza open source di Llama in modo che le aziende di una certa dimensione che utilizzano Llama in un contesto commerciale debbano iniziare a pagare per utilizzare il modello.
Tecnicamente, Meta lo fa già oggi in misura limitata. L’azienda non consente alle grandi aziende (supercomputer cloud e altre aziende con oltre 700 milioni di utenti attivi al mese) di utilizzare gratuitamente il suo modello Llama.
Nel 2023, il CEO di Meta Mark Zuckerberg ha affermato: “Se sei un’azienda come Microsoft, Amazon o Google e fondamentalmente rivendi Llama, allora dovremmo guadagnarci qualcosa. Non credo che ci sarà un breve periodo di tempo. non ci saranno molti ricavi nel breve termine, ma si spera che ci saranno ricavi nel lungo termine.”
L’anno prossimo Meta amplierà significativamente la gamma di attività commerciali paganti che utilizzano Llama, includendo anche le medie e grandi imprese. Stare al passo con gli ultimi sviluppi nei Large Language Models (LLM) è costoso. Meta deve investire miliardi di dollari ogni anno per mantenere Llama aggiornato con gli ultimi modelli all’avanguardia di aziende come OpenAI Anthropic e altre.
Meta è una delle aziende più grandi e meglio finanziate al mondo. Ma è anche una società pubblica e, in ultima analisi, è responsabile nei confronti dei suoi azionisti.
Poiché il costo di produzione di modelli all’avanguardia continua ad aumentare, diventa sempre più insostenibile per Meta investire così tanti soldi nell’addestramento della prossima generazione di modelli Llama senza alcuna aspettativa di profitto.
Nel corso del prossimo anno, il modello Llama continuerà a essere disponibile gratuitamente per hobbisti, accademici, singoli sviluppatori e startup. Ma il 2025 sarà l’anno in cui Meta inizierà a lavorare seriamente per rendere Llama redditizio.
02. Domande sulla “legge di scala”
Nelle ultime settimane, l’argomento più dibattuto nel campo dell’intelligenza artificiale è stata la questione delle leggi di scalabilità e se queste siano prossime a rompersi.
La legge di scala è stata proposta per la prima volta in un articolo di OpenAI del 2020. Il concetto di base è semplice: quando si addestra un modello di intelligenza artificiale, all’aumentare del numero di parametri del modello, della quantità di dati di addestramento e della quantità di elaborazione, le prestazioni del modello miglioreranno in modo affidabile e prevedibile (tecnicamente, la sua perdita di test ridurrà).
I significativi miglioramenti delle prestazioni da GPT-2 a GPT-3 a GPT-4 sono tutti dovuti alla legge di scala.
Come la legge di Moore, le leggi di scala non sono affatto leggi vere e proprie, ma solo osservazioni empiriche.
Una serie di rapporti pubblicati il mese scorso hanno evidenziato che, mentre i laboratori di intelligenza artificiale continuano a sviluppare modelli linguistici di grandi dimensioni, i rendimenti sono decrescenti. Questo aiuta a spiegare perché il rilascio di GPT-5 di OpenAI è stato ripetutamente ritardato.
La confutazione più comune alla stagnazione della legge sulla scalabilità è che l’avvento dei calcoli dei tempi di test ha aperto una dimensione completamente nuova nella ricerca sulla scalabilità.
Ciò significa che i nuovi modelli di inferenza come o3 di OpenAI possono scalare in modo massiccio il calcolo durante l’inferenza piuttosto che durante l’addestramento, sbloccando nuove capacità di intelligenza artificiale consentendo ai modelli di “pensare a lungo termine”.
Questo è molto importante. Il test-time computing rappresenta una nuova entusiasmante strada per ottenere scalabilità e miglioramenti delle prestazioni nell’intelligenza artificiale.