DwarfStar 4: l’AI locale sul tuo Mac firmata dal creatore di Redis
Il creatore di Redis ha costruito un motore per far girare AI di frontiera sul tuo Mac, senza cloud e senza abbonamenti.
Se hai sentito parlare di DwarfStar 4 nelle ultime settimane e non sai bene cos’è, non sei il solo. DwarfStar 4 è esploso su GitHub con oltre 13.000 stelle in un mese, ha infiammato Hacker News e ha fatto parlare di sé persino il CEO di Y Combinator. Dietro c’è un italiano: Salvatore Sanfilippo, meglio conosciuto come antirez, il programmatore catanese che nel 2009 creò Redis, il database in-memory che oggi gira su milioni di server in tutto il mondo.
Questa volta Sanfilippo non ha costruito un database. Ha costruito un motore per far girare DeepSeek V4 Flash direttamente sul tuo Mac, senza cloud, senza abbonamenti, senza mandare un byte a nessuno.
Cos’è DwarfStar 4 e perché è diverso da tutto il resto
DwarfStar 4 (il repository si chiama antirez/ds4) non è l’ennesimo wrapper attorno a llama.cpp. È un motore di inferenza locale scritto da zero in C, ottimizzato per un singolo modello e per un singolo scopo: far girare DeepSeek V4 Flash nel modo più veloce e corretto possibile su hardware consumer di fascia alta.
La scelta deliberata di supportare un solo modello è la cosa più interessante del progetto. Mentre tutti gli altri strumenti cercano di essere generalisti, DS4 fa l’opposto: specializzazione totale. Il risultato è un’esperienza che Sanfilippo stesso descrive come la prima volta in cui usa davvero un modello locale per lavoro serio, cose che normalmente affidava a Claude o GPT.
DeepSeek V4 Flash ha 284 miliardi di parametri, di cui solo 11 miliardi attivi alla volta grazie all’architettura Mixture of Experts. Su come il modello cinese aveva già fatto parlare di sé mesi fa per tutt’altri motivi, ma questa è una storia diversa.
La tecnica che rende tutto possibile: quantizzazione asimmetrica 2-bit/8-bit
Normalmente un modello da 284 miliardi di parametri richiede centinaia di gigabyte di RAM. Sul cloud non è un problema. Sul tuo Mac sì.
DwarfStar 4 risolve il problema con una tecnica chiamata quantizzazione asimmetrica 2-bit/8-bit: la maggior parte dei pesi del modello viene compressa a 2 bit, quelli critici restano a 8 bit. Il risultato è un file GGUF da circa 76 GBche entra in 96 o 128 GB di RAM su un Mac con Apple Silicon. Il tutto senza perdere troppo in qualità: su Hacker News qualcuno ha scritto che le risposte si avvicinano a Claude al punto da non sentire una differenza sostanziale.
Tra le funzionalità più discusse c’è anche il supporto al directional steering: puoi caricare un tensore che modifica sottilmente il comportamento del modello, rendendolo più o meno verboso, adattato a contesti specifici come la cybersecurity, senza riaddestrare nulla.
Cosa serve per far girare DwarfStar 4 (e cosa no)
Qui bisogna essere onesti, perché in giro circolano descrizioni un po’ ottimistiche. Per far girare DwarfStar 4 nella configurazione standard ti serve un Mac con chip Apple Silicon e almeno 96 GB di RAM, o in alternativa una workstation NVIDIA DGX Spark. Non è un PC da salotto.
Detto questo, il progetto si sta muovendo velocemente. L’ultima novità è il supporto allo SSD streaming: i pesi del modello vengono caricati dal disco invece di stare tutti in RAM, il che abbassa il requisito minimo a 64 GB con prestazioni accettabili. Sanfilippo ha già in mente di scendere ulteriormente.
Sul fronte software, DS4 gira su Metal (macOS) e CUDA (Linux/NVIDIA), con un branch ROCm per AMD in sviluppo. Offre un’API HTTP compatibile con i formati OpenAI e Anthropic, il che significa che puoi collegarlo direttamente ai tuoi strumenti senza cambiare una riga di codice. Trovate tutte le novità sui modelli AI open source nelle nostre news.
Inferenza distribuita: il passo successivo
Una delle aggiunte più recenti è il supporto all’inferenza distribuita: il modello non deve stare tutto su una singola macchina. Puoi distribuire i layer su più computer connessi in rete via TCP, con un’architettura coordinatore/worker. È ancora in fase sperimentale, ma apre scenari interessanti per chi ha più Mac in casa o in ufficio.
Per chi vuole approfondire la scena dell’AI locale e seguire gli sviluppi più recenti, le nostre news sull’AI vengono aggiornate ogni giorno.
La situazione
DwarfStar 4 non è per tutti, almeno non ancora, ma il progetto di Sanfilippo dimostra che DwarfStar 4 sta ridefinendo cosa significa davvero AI locale. Se hai un MacBook Pro da 96 GB o un Mac Studio con 128 GB, puoi già oggi far girare un modello AI che compete con i migliori servizi cloud, gratuitamente, con i tuoi dati che non escono dalla tua macchina.
Per chi lavora con dati sensibili, per i professionisti che pagano centinaia di euro al mese di API, o semplicemente per chi non vuole dipendere da un server in California, questo è un punto di svolta concreto. Il fatto che sia opera di un italiano, dello stesso che ha scritto Redis da solo a Catania più di quindici anni fa, rende la storia ancora più bella.
Ti è piaciuto questo articolo?
Seguici per restare aggiornato su tech, smartphone e streaming – senza perderti nulla.
Commento all'articolo