Perplexity presenta Lily, un nuovo motore per l’AI locale su Apple Silicon progettato attorno al modello Qwen3.6-35B-A3B. Utilizza un runtime Rust e kernel Metal personalizzati, senza PyTorch o MLX nel percorso di esecuzione. Nei test interni su M5 Max sarebbe fino al 35% più veloce nella generazione dei token rispetto a MLX-LM.

Perplexity vuole spingere più in là l’inferenza AI direttamente sui Mac.

L’azienda ha sviluppato Lily, un motore locale pensato specificamente per Apple Silicon e per il modello Qwen3.6-35B-A3B.

Il progetto segue un approccio molto diverso rispetto alle soluzioni più generaliste.

Lily non utilizza PyTorch e non passa nemmeno da MLX nel percorso di esecuzione.

Perplexity ha invece costruito un runtime in Rust e kernel personalizzati basati su Metal.

Perplexity Lily punta tutto sull’ottimizzazione

Il vero vantaggio di Lily sta nella specializzazione.

Perplexity lo ha progettato attorno a un numero molto ristretto di scenari e architetture.

Questo permette di eliminare diversi livelli intermedi e lavorare più direttamente sull’hardware Apple.

L’obiettivo è ridurre overhead e latenza durante l’inferenza.

È un approccio opposto rispetto a quello di MLX-LM, che supporta invece una gamma molto più ampia di modelli e architetture.

La maggiore flessibilità di MLX-LM ha quindi un costo.

Lily prova a sacrificare parte di quella generalità in cambio di prestazioni migliori.

Lily è fino al 35% più veloce nei test di Perplexity

Secondo i benchmark pubblicati da Perplexity, Lily avrebbe ottenuto risultati superiori a MLX-LM su un MacBook Pro con M5 Max e 128 GB di memoria unificata.

Nel prompt processing, il vantaggio medio dichiarato è del 23%.

Nella generazione dei token, invece, Perplexity parla di un miglioramento medio del 35%.

Sono numeri interessanti, soprattutto per chi vuole eseguire modelli di grandi dimensioni localmente.

I benchmark sono ancora interni

Qui però serve una precisazione importante.

Perplexity non ha ancora pubblicato il codice di Lily.

Di conseguenza, i risultati non possono essere verificati in modo indipendente.

Per ora dobbiamo quindi considerarli come benchmark interni dell’azienda.

Il confronto è comunque utile per capire quale direzione sta prendendo il progetto.

Lily non vuole essere un framework universale.

Vuole essere un motore molto ottimizzato per un insieme preciso di workload su Apple Silicon.

Rust e Metal al posto di PyTorch e MLX

La scelta tecnica è uno degli aspetti più interessanti.

Perplexity ha costruito il runtime in Rust.

Le operazioni più vicine alla GPU vengono invece gestite attraverso kernel Metal personalizzati.

In questo modo l’azienda evita sia PyTorch sia MLX nella fase di esecuzione.

L’obiettivo è avere maggiore controllo sull’intero percorso del modello.

Questo permette di ottimizzare memoria, scheduling e calcoli in modo molto più aggressivo.

Sui Mac con tanta memoria unificata, questo tipo di approccio può diventare particolarmente interessante.

CPU e GPU condividono infatti lo stesso pool di memoria.

Ridurre copie e passaggi intermedi può quindi avere un impatto concreto sulle prestazioni.

Perplexity Lily nasce per Qwen3.6-35B-A3B

Lily non è stato progettato come soluzione generica per qualunque modello.

Perplexity lo ha sviluppato in modo specifico per Qwen3.6-35B-A3B.

Questo spiega in parte perché riesca a essere più aggressivo nelle ottimizzazioni.

Un motore molto mirato può adattare il proprio comportamento alla struttura esatta del modello.

In un framework generalista, invece, bisogna mantenere compatibilità con architetture differenti.

Il compromesso è quindi evidente.

MLX-LM offre maggiore flessibilità.

Lily prova invece a massimizzare le prestazioni in un caso d’uso molto preciso.

L’AI locale sui Mac diventa sempre più interessante

Il progetto arriva in un momento in cui l’AI locale sta guadagnando sempre più attenzione.

I Mac con Apple Silicon dispongono di quantità elevate di memoria unificata e GPU integrate molto più potenti rispetto alle generazioni precedenti.

Su configurazioni di fascia alta diventa quindi possibile eseguire localmente modelli molto grandi.

Questo porta diversi vantaggi.

I dati possono rimanere sul dispositivo.

La latenza può diminuire.

E soprattutto si riduce la dipendenza da servizi cloud a consumo.

Naturalmente tutto dipende dal modello, dalla memoria disponibile e dal tipo di workload.

Lily dovrebbe diventare open source

Perplexity ha già anticipato che Lily verrà pubblicato come progetto open source.

Il codice, però, non è ancora disponibile.

Questo sarà probabilmente il passaggio più importante per valutare davvero il progetto.

Una volta pubblicato, sviluppatori e ricercatori potranno verificare i benchmark e confrontarlo direttamente con MLX-LM e altre soluzioni.

Sarà anche interessante capire quanto facilmente Lily potrà essere adattato ad altri modelli.

Se rimarrà fortemente legato a Qwen3.6-35B-A3B, il suo campo di utilizzo resterà più ristretto.

Se invece l’architettura verrà estesa, potrebbe diventare uno strumento molto più interessante per l’ecosistema Apple.

Perplexity vuole spremere Apple Silicon fino in fondo

Lily mostra una direzione chiara.

Per ottenere più prestazioni dall’AI locale, non basta sempre utilizzare un framework generico.

In alcuni casi conviene progettare un motore intorno all’hardware e al modello specifico.

È esattamente quello che Perplexity sta facendo con Lily.

Il vantaggio dichiarato rispetto a MLX-LM è interessante, soprattutto nella generazione dei token.

Resta però da vedere quanto quei risultati reggeranno una volta che il codice sarà pubblico.

Fino ad allora, Lily rimane un progetto promettente, ma ancora da verificare sul campo.