Benvenuti alla newsletter sul futuro fortissimo che esce il 10, 20, 30 di ogni mese.
💾 Oggi parleremo principalmente di microprocessori:
La guerra fredda a colpi di nanometri
Quanto inquinano i modelli di intelligenza artificiale?
Spendiamo più in computer che in persone?
🦖 ff.82.1 Estinzione di massa?
500 milioni di anni fa, l’esplosione Cambriana. Forse un nuovo organismo in grado di generare ossigeno ha “soffocato” le altre forme di vita che vivevano respirando CO2.
Oggi, la CO2 torna a fare paura. Le emissioni per via di AI stanno crescendo, uno scambio con ChatGPT equivale a un’ora di luce LED, un’immagine DALL-E a una ricarica di smartphone.
Il computronio sarà la prossima forma di vita? La CO2 si prenderà la sua rivincita?
Però, però, però. Catastrofismi e sensazionalismi a parte, su 🎼ff proviamo a snocciolare un po’ più nel profondo la questione:
Paragonare ChatGPT a luce LED è forviante. In un caso parliamo del primo esempio di una tecnologia di massa, nel secondo caso il risultato di un secolo di miglioramenti (rispetto al filamento a tungsteno)
Se anche ChatGPT consuma 10x una ricerca Google, quante altre ricerche Google previene?
Inoltre, L’MIT fa notare che il consumo energetico dell’AI può portare a benefici e che già ci sono soluzioni di efficientamento:
diffusione di Small Nuclear Reactors (proposta di Microsoft)
Angolo nerd. Il report sulle proiezioni del consumo energetico di internet.
🐔 ff.82.2 Polli computazionali
My cock is much bigger than yours
My cock can walk right through the door
System of a Down, Cigaro
Con questa analogia, i System trattano la corsa agli armamenti. I datacenter potrebbero essere i prossimi “cock”, i prossimi razzi, le prossime trincee.
E’ vero, si stanno diffondendo modelli più piccoli ed efficienti (vedi Mistral, la startup francesce che fa paura a OpenAI), con risultati paragonabili ai Golia GPT-4 e Gemini. Però, con lo scalare dei parametri (e della potenza di calcolo) i risultati sono sempre migliori.
Bene così. Non è scontato avere una tecnologia che migliora semplicemente allocando più risorse: vedi innovazione “ad S” di turbine eoliche e motori a scoppio.
🥶 ff.82.3 Guerra fredda
Tornando ai polli: cosa sta succedendo a livello politico? L’embargo verso la Cina di chip e macchine litografiche di ASML è in atto da tempo (🐌 ff.42.3 Bastoni tra le AI-ruote). Chris Miller approfondisce in Chip War.
🥵 ff.82.4 Guerra calda
NVIDIA produrrà nel 2024 1 M di GPU H100 ($40k l’una, con performance 9x rispetto alla A100).
Noam Shazeer, CEO di Character.ai, calcola che abbiamo GPU per sostenere un modello GPT-4 a persona. Ma non c’è computronio per tutti e la guerra è soprattutto tra aziende.
Tesla si è accaparrata solo 15k GPU. Anche OpenAI (nonostante la partnership Microsoft) non ha tutte le risorse necessarie (forse uno dei motivi del defenestramento, poi rientrato, di Altman?).
Come sempre visionario, Musk sta costruendo la sua indipendenza con Dojo, il supercomputer tailor-made che nel 2024 sarà nella top 5 mondiale (analisi di Sawyer Merritt).
Davide tra i Gol-IA (scusate). Il ricercatore della Columbia Ishan Dhanani vuole democratizzare l’accesso al computronio, decentralizzando.
prima di andare ricordati di mettere un cuoricino qua sotto.
❤️