Da ieri, con l'uscita della prima beta di iOS 18.1, è iniziata l'era di AppIe Intelligence, e già il mondo non è più lo stesso.
Col suo piccolo LLM on-device da 2,7B parametri (della dimensione di 1GB compresso) che però come un agile playmaker fa i numeri e porta la squadra a canestro, il tutto consumando poco e girando in modo molto efficiente sull'ANE*, crapple ha dimostrato all'intera industria la potenza e le potenzialità di un LLM locale integrato in modo pervasivo nell'OS e non confinato a singole app.
*A questo proposito vi rammento che attualmente in genere gli LLM locali girano su CPU/GPU, sia su Mac che peggio ancora su altre piattaforme (sulle quali l'NPU è questione ancora più recente che sulle piattaforme crapple, che ne hanno visto l'introduzione su iPhone 8/X ormai 7 anni fa), e non sul Neural Engine.
Hey, I'm the author of Private LLM. None of the big three LLM frameworks: llama.cpp (which LMStudio, Ollama, etc use), mlc-llm (which Private LLM uses) and MLX are capable of using the crapple Neural Engine for (quantized) LLM inference. All of them currently only use the crapple Silicon GPU and the CPU.
Le poche funzionalità già disponibili e testate dagli utenti in queste prime ore, quali
- riscrittura (molto veloce, efficace e che riesce a gestire testi lunghi suddividendoli in pezzi)
- riassunto in linea delle pagine web
- riassunto delle mail proposto direttamente come anteprima da 2 righe o nelle notifiche
- prioritizzazione delle mail sulla base della comprensione del contenuto
- prioritizzazione delle notifiche
- riassunto di intere sequenze di notifiche in una singola notifica di riepilogo
- ecc.
mi portano ad affermare: sospendete qualsiasi acquisto di iPhone (anzi smartphone!) e pianificate di prendere un iPhone compatibile con AppIe Intelligence! (fosse anche l'iPhone SE4 da 549€ a marzo prossimo)
(poi vabbè in EU non è disponibile inizialmente ma almeno a livello hw siete pronti per quando l'anno prossimo lo sarà 
)
Pianificare di avere al più presto AppIe Intelligence a questo punto è im-pre-scin-di-bi-le. (già solo per notifiche sintetizzate)
E poi, rinuncereste mai alla nuova animazione migliore di sempre per Siri?
