Najboljši Mac za lokalne modele umetne inteligence
Ko velik jezikovni model poganjaš na svojem Macu, je umetna inteligenca res lokalna: tvoji pozivi ostanejo doma, za posamezno vprašanje pa ne plačaš ničesar. Z orodji, kot so Ollama, LM Studio in llama.cpp, ga zaženeš v nekaj klikih, od izbire Maca pa je odvisno, katere modele lahko poganjaš in kako hitro odgovarjajo.
Odločata predvsem dve številki. Enotni pomnilnik določa, kateri modeli se sploh naložijo: celoten model mora med delom ostati v pomnilniku, pri čipih Apple silicon pa si ga grafični procesor deli s preostalim sistemom. Pasovna širina pomnilnika določa hitrost: za vsako besedo, ki jo model napiše, Mac enkrat prebere celoten model, zato je hitrejši tisti Mac, ki prenese več gigabajtov na sekundo.
Na vrhu razvrstitve je Mac, ki z uporabno hitrostjo poganja največji model; pri izenačenih odloča hitrost odgovorov. Na vsaki kartici vidiš, katere modele poganja posamezna količina pomnilnika. Hitrosti so ocene na podlagi Applove objavljene pasovne širine pomnilnika, ne meritve.
Prikazane so Applove cene za posamezno konfiguracijo, ne cene rabljenih naprav.
Razvrstitev za ta namen
Kako ocenjujemo
Kateri modeli se naložijo. Računamo s 4-bitno kvantiziranimi modeli, ki so običajna izbira za domačo uporabo in zasedejo približno 0,6 GB pomnilnika na milijardo parametrov. Za macOS in druge aplikacije rezerviramo 6 GB. Model se naloži, če zanj zadošča preostali pomnilnik.
Kako hitro odgovarja (ocena). Za vsak žeton mora Mac iz pomnilnika prebrati celoten model, zato Applovo objavljeno pasovno širino pomnilnika delimo z velikostjo modela in predpostavimo, da Mac v praksi doseže 60 % te najvišje vrednosti. Resnična hitrost je odvisna od aplikacije, modela in dolžine pogovora. Če za čip in model obstaja objavljena meritev, uporabimo njo namesto ocene.
Uporabno pomeni vsaj 10 žetonov (tokenov) na sekundo, približno tako hitro, kot bereš. Referenčni modeli, ki jih preverimo: Llama 3.1 8B, Qwen 2.5 14B, Qwen 2.5 32B, Llama 3.3 70B, Mistral Large 123B in Llama 3.1 405B.
Odlično: z uporabno hitrostjo poganja vsaj model 70B. Dovolj dobro: z uporabno hitrostjo poganja vsaj model 14B. Ni idealno: poganja le manjše modele. Neznano: Apple za ta Mac ne objavlja pasovne širine pomnilnika, zato ne ugibamo.
Podatke o pomnilniku in pasovni širini jemljemo iz Applovih tehničnih specifikacij za vsak Mac. Razvrščamo le tukaj navedene konfiguracije; večino Macov je bilo mogoče naročiti z več pomnilnika.
Pogosta vprašanja
Koliko pomnilnika potrebujem za Llamo 70B na Macu?
Po našem izračunu 4-bitni model 70B zasede približno 42 GB, skupaj s prostorom za macOS pa potrebuješ okoli 48 GB. V praksi to pomeni Mac s 64 GB enotnega pomnilnika ali več. Sam pomnilnik pa ni dovolj: za uporabno hitrost odgovorov potrebuješ tudi pasovno širino čipa Ultra.
Ali je 16 GB dovolj za modele umetne inteligence na Macu?
Za manjše modele da. Model 8B, kot je Llama 3.1 8B, skupaj s sistemom macOS potrebuje približno 10,8 GB, zato se naloži v 16 GB in je uporaben za klepet, povzemanje in preprosto pomoč pri programiranju. Tudi model 14B se še ravno naloži. Model 32B potrebuje približno 25,2 GB, torej Mac z 32 GB, največji odprti modeli pa 64 GB ali več.
Zakaj je za lokalno umetno inteligenco pasovna širina pomnilnika pomembnejša od čipa?
Ker model pri pisanju besedila večino časa čaka na pomnilnik. Za vsak žeton Mac enkrat prebere celoten model, zato je število žetonov na sekundo približno pasovna širina, deljena z velikostjo modela. Čip Max ali Ultra z več sto GB/s odgovarja precej hitreje kot osnovni čip z enako količino pomnilnika. Dodatna grafična jedra najbolj pomagajo, ko model obdeluje tvoj poziv.
Mac mini ali Mac Studio za lokalno umetno inteligenco?
Mac mini s čipom Pro in dovolj pomnilnika udobno poganja modele 8B in 14B. Za modele 32B in večje imajo čipi Max in Ultra v Macu Studio dovolj pasovne širine, da tečejo dovolj hitro, modele 70B pa v naši razvrstitvi z uporabno hitrostjo poganjajo le čipi Ultra.
S katerimi aplikacijami lahko poganjam modele umetne inteligence na Macu?
Najlažje začneš z Ollamo ali LM Studiom: preneseš model in klepetaš. V ozadju uporabljata pogone, kot sta llama.cpp in Applov MLX, ki model poganjata na grafičnem procesorju Maca. Velikost datoteke modela ti dobro pove, koliko pomnilnika bo model potreboval.
Ali so hitrosti na tej strani izmerjene?
Še ne. Gre za ocene na podlagi Applove objavljene pasovne širine pomnilnika, pri katerih predpostavimo, da Mac doseže 60 % najvišje vrednosti, zato so tudi označene kot ocene. Pri dolgih pogovorih in obsežnih pozivih je hitrost nižja od ocene. Ko za čip in model obstaja objavljena meritev, pokažemo to meritev.