Fetchy

Najboljši Mac za lokalne modele umetne inteligence

Ko velik jezikovni model poganjaš na svojem Macu, je umetna inteligenca res lokalna: tvoji pozivi ostanejo doma, za posamezno vprašanje pa ne plačaš ničesar. Z orodji, kot so Ollama, LM Studio in llama.cpp, ga zaženeš v nekaj klikih, od izbire Maca pa je odvisno, katere modele lahko poganjaš in kako hitro odgovarjajo.

Odločata predvsem dve številki. Enotni pomnilnik določa, kateri modeli se sploh naložijo: celoten model mora med delom ostati v pomnilniku, pri čipih Apple silicon pa si ga grafični procesor deli s preostalim sistemom. Pasovna širina pomnilnika določa hitrost: za vsako besedo, ki jo model napiše, Mac enkrat prebere celoten model, zato je hitrejši tisti Mac, ki prenese več gigabajtov na sekundo.

Na vrhu razvrstitve je Mac, ki z uporabno hitrostjo poganja največji model; pri izenačenih odloča hitrost odgovorov. Na vsaki kartici vidiš, katere modele poganja posamezna količina pomnilnika. Hitrosti so ocene na podlagi Applove objavljene pasovne širine pomnilnika, ne meritve.

Prikazane so Applove cene za posamezno konfiguracijo, ne cene rabljenih naprav.

Razvrstitev za ta namen

  1. Poganja modele do Llama 3.3 70B (približno 17 žetonov/s, ocena)

    • 96 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 1200 GB/s
    • Približno 150 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 30-core CPU · 96 GB · 1 TB → Poganja modele do Llama 3.3 70B (približno 17 žetonov/s, ocena)Cena pri Applu: 6599 €
  2. Poganja modele do Llama 3.3 70B (približno 12 žetonov/s, ocena)

    • 96 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 819 GB/s
    • Približno 102 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 28-core CPU · 96 GB · 1 TB → Poganja modele do Llama 3.3 70B (približno 12 žetonov/s, ocena)Cena pri Applu: 6299 €
  3. Poganja modele do Llama 3.3 70B (približno 11 žetonov/s, ocena)

    • 64 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 800 GB/s
    • Približno 100 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 24-core CPU · 64 GB · 1 TB → Poganja modele do Llama 3.3 70B (približno 11 žetonov/s, ocena)Cena pri Applu: 4799 €
  4. Poganja modele do Llama 3.3 70B (približno 11 žetonov/s, ocena)

    • 64 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 800 GB/s
    • Približno 100 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 24-core CPU · 64 GB · 1 TB → Poganja modele do Llama 3.3 70B (približno 11 žetonov/s, ocena)Cena pri Applu: 8302 €
  5. Poganja modele do Llama 3.3 70B (približno 11 žetonov/s, ocena)

    • 64 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 800 GB/s
    • Približno 100 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 20-core CPU · 64 GB · 1 TB → Poganja modele do Llama 3.3 70B (približno 11 žetonov/s, ocena)Cena pri Applu: 4599 €
  6. Mac Studio M5 Max

    Dovolj dobro

    Poganja modele do Qwen 2.5 32B (približno 19 žetonov/s, ocena)

    • 64 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 614 GB/s
    • Približno 77 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 18-core CPU · 36 GB · 512 GB → Poganja modele do Qwen 2.5 32B (približno 14 žetonov/s, ocena)Cena pri Applu: 2999 €
    • 18-core CPU · 64 GB · 1 TB → Poganja modele do Qwen 2.5 32B (približno 19 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
  7. Mac Studio M4 Max

    Dovolj dobro

    Poganja modele do Qwen 2.5 32B (približno 13 žetonov/s, ocena)

    • 36 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 410 GB/s
    • Približno 51 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 14-core CPU · 36 GB · 512 GB → Poganja modele do Qwen 2.5 32B (približno 13 žetonov/s, ocena)Cena pri Applu: 2999 €
  8. Mac Studio M2 Max

    Dovolj dobro

    Poganja modele do Qwen 2.5 32B (približno 13 žetonov/s, ocena)

    • 32 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 400 GB/s
    • Približno 50 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 12-core CPU · 32 GB · 512 GB → Poganja modele do Qwen 2.5 32B (približno 13 žetonov/s, ocena)Cena pri Applu: 2399 €
  9. Mac Studio M1 Max

    Dovolj dobro

    Poganja modele do Qwen 2.5 32B (približno 13 žetonov/s, ocena)

    • 32 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 400 GB/s
    • Približno 50 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 10-core CPU · 32 GB · 512 GB → Poganja modele do Qwen 2.5 32B (približno 13 žetonov/s, ocena)Cena pri Applu: 2299 €
  10. Mac mini M5 Pro

    Dovolj dobro

    Poganja modele do Qwen 2.5 14B (približno 22 žetonov/s, ocena)

    • 24 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 307 GB/s
    • Približno 38 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 15-core CPU · 24 GB · 512 GB → Poganja modele do Qwen 2.5 14B (približno 22 žetonov/s, ocena)Cena pri Applu: 1999 €
    • 18-core CPU · 64 GB · 1 TB → Poganja modele do Qwen 2.5 14B (približno 22 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
  11. Mac mini M4 Pro

    Dovolj dobro

    Poganja modele do Qwen 2.5 14B (približno 19 žetonov/s, ocena)

    • 24 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 273 GB/s
    • Približno 34 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 12-core CPU · 24 GB · 512 GB → Poganja modele do Qwen 2.5 14B (približno 19 žetonov/s, ocena)Cena pri Applu: 1899 €
  12. Mac mini M2 Pro

    Dovolj dobro

    Poganja modele do Qwen 2.5 14B (približno 14 žetonov/s, ocena)

    • 16 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 200 GB/s
    • Približno 25 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 10-core CPU · 16 GB · 512 GB → Poganja modele do Qwen 2.5 14B (približno 14 žetonov/s, ocena)Cena pri Applu: 1549 €
  13. Mac mini M6

    Dovolj dobro

    Poganja modele do Qwen 2.5 14B (približno 12 žetonov/s, ocena)

    • 24 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 170 GB/s
    • Približno 21 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 12-core CPU · 16 GB · 256 GB → Poganja modele do Qwen 2.5 14B (približno 11 žetonov/s, ocena)Cena pri Applu: 1049 €
    • 12-core CPU · 16 GB · 512 GB → Poganja modele do Qwen 2.5 14B (približno 11 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
    • 12-core CPU · 24 GB · 512 GB → Poganja modele do Qwen 2.5 14B (približno 12 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
    • 12-core CPU · 32 GB · 1 TB → Poganja modele do Qwen 2.5 14B (približno 12 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
  14. Mac mini M4

    Ni idealno

    Poganja modele do Llama 3.1 8B (približno 15 žetonov/s, ocena)

    • 16 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 120 GB/s
    • Približno 15 žetonov/s pri modelu Llama 3.1 8B (ocena)
    • 10-core CPU · 16 GB · 256 GB → Poganja modele do Llama 3.1 8B (približno 15 žetonov/s, ocena)Cena pri Applu: 949 €
    • 10-core CPU · 16 GB · 512 GB → Poganja modele do Llama 3.1 8B (približno 15 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
    • 10-core CPU · 24 GB · 512 GB → Poganja modele do Llama 3.1 8B (približno 15 žetonov/s, ocena)Cena pri Applu: za to konfiguracijo ni na voljo
  15. Mac mini M2

    Ni idealno

    Model Llama 3.1 8B se ne naloži v 8 GB pomnilnika, zato ga ta konfiguracija ne more poganjati

    • 8 GB enotnega pomnilnika
    • Pasovna širina pomnilnika: 100 GB/s
    • 8-core CPU · 8 GB · 256 GB → Model Llama 3.1 8B se ne naloži v 8 GB pomnilnika, zato ga ta konfiguracija ne more poganjatiCena pri Applu: 699 €
    • 8-core CPU · 8 GB · 512 GB → Model Llama 3.1 8B se ne naloži v 8 GB pomnilnika, zato ga ta konfiguracija ne more poganjatiCena pri Applu: 929 €
    • 8-core CPU · 8 GB · 256 GB → neznanoCena pri Applu: 799 €
    • 8-core CPU · 8 GB · 512 GB → neznanoCena pri Applu: 1029 €

Kako ocenjujemo

Kateri modeli se naložijo. Računamo s 4-bitno kvantiziranimi modeli, ki so običajna izbira za domačo uporabo in zasedejo približno 0,6 GB pomnilnika na milijardo parametrov. Za macOS in druge aplikacije rezerviramo 6 GB. Model se naloži, če zanj zadošča preostali pomnilnik.

Kako hitro odgovarja (ocena). Za vsak žeton mora Mac iz pomnilnika prebrati celoten model, zato Applovo objavljeno pasovno širino pomnilnika delimo z velikostjo modela in predpostavimo, da Mac v praksi doseže 60 % te najvišje vrednosti. Resnična hitrost je odvisna od aplikacije, modela in dolžine pogovora. Če za čip in model obstaja objavljena meritev, uporabimo njo namesto ocene.

Uporabno pomeni vsaj 10 žetonov (tokenov) na sekundo, približno tako hitro, kot bereš. Referenčni modeli, ki jih preverimo: Llama 3.1 8B, Qwen 2.5 14B, Qwen 2.5 32B, Llama 3.3 70B, Mistral Large 123B in Llama 3.1 405B.

Odlično: z uporabno hitrostjo poganja vsaj model 70B. Dovolj dobro: z uporabno hitrostjo poganja vsaj model 14B. Ni idealno: poganja le manjše modele. Neznano: Apple za ta Mac ne objavlja pasovne širine pomnilnika, zato ne ugibamo.

Podatke o pomnilniku in pasovni širini jemljemo iz Applovih tehničnih specifikacij za vsak Mac. Razvrščamo le tukaj navedene konfiguracije; večino Macov je bilo mogoče naročiti z več pomnilnika.

Pogosta vprašanja

Koliko pomnilnika potrebujem za Llamo 70B na Macu?

Po našem izračunu 4-bitni model 70B zasede približno 42 GB, skupaj s prostorom za macOS pa potrebuješ okoli 48 GB. V praksi to pomeni Mac s 64 GB enotnega pomnilnika ali več. Sam pomnilnik pa ni dovolj: za uporabno hitrost odgovorov potrebuješ tudi pasovno širino čipa Ultra.

Ali je 16 GB dovolj za modele umetne inteligence na Macu?

Za manjše modele da. Model 8B, kot je Llama 3.1 8B, skupaj s sistemom macOS potrebuje približno 10,8 GB, zato se naloži v 16 GB in je uporaben za klepet, povzemanje in preprosto pomoč pri programiranju. Tudi model 14B se še ravno naloži. Model 32B potrebuje približno 25,2 GB, torej Mac z 32 GB, največji odprti modeli pa 64 GB ali več.

Zakaj je za lokalno umetno inteligenco pasovna širina pomnilnika pomembnejša od čipa?

Ker model pri pisanju besedila večino časa čaka na pomnilnik. Za vsak žeton Mac enkrat prebere celoten model, zato je število žetonov na sekundo približno pasovna širina, deljena z velikostjo modela. Čip Max ali Ultra z več sto GB/s odgovarja precej hitreje kot osnovni čip z enako količino pomnilnika. Dodatna grafična jedra najbolj pomagajo, ko model obdeluje tvoj poziv.

Mac mini ali Mac Studio za lokalno umetno inteligenco?

Mac mini s čipom Pro in dovolj pomnilnika udobno poganja modele 8B in 14B. Za modele 32B in večje imajo čipi Max in Ultra v Macu Studio dovolj pasovne širine, da tečejo dovolj hitro, modele 70B pa v naši razvrstitvi z uporabno hitrostjo poganjajo le čipi Ultra.

S katerimi aplikacijami lahko poganjam modele umetne inteligence na Macu?

Najlažje začneš z Ollamo ali LM Studiom: preneseš model in klepetaš. V ozadju uporabljata pogone, kot sta llama.cpp in Applov MLX, ki model poganjata na grafičnem procesorju Maca. Velikost datoteke modela ti dobro pove, koliko pomnilnika bo model potreboval.

Ali so hitrosti na tej strani izmerjene?

Še ne. Gre za ocene na podlagi Applove objavljene pasovne širine pomnilnika, pri katerih predpostavimo, da Mac doseže 60 % najvišje vrednosti, zato so tudi označene kot ocene. Pri dolgih pogovorih in obsežnih pozivih je hitrost nižja od ocene. Ko za čip in model obstaja objavljena meritev, pokažemo to meritev.